Robots.txt dosyası, arama motorlarına ait botların sitenizde ulaşamayacağı ve bunun sonucu olarak indexleyemeyeceği sayfaları gösterir. Sitenin kök dizininde "public read" izni ile tutulur. Bu da bu dosyaya erişip içeriğini görüntüleyebilen herkesin uygulamanızın dizin yapısıyla ilgili bilgi sahibi olmasına sebep olur.

Örnek bir Robots.txt dosyası:

User-agent: *
Disallow: /admin/
Disallow: /ornek_dizin/

Örnekte görüldüğü gibi sitenin yönetici paneli arama motoru botlarının erişimine kapatılmış. Fakat bu içeriği görüntüleyen kötü niyetli kişilerce kötü amaçlarla kullanılabilir.

Bu durumun önüne geçebilmek için botların erişmesini istemediğiniz sayfaların <head></head> tagları arasına aşağıdaki kodu ekleyebilirsiniz;

<meta name="robots" content="noindex,nofollow" />

Ya da PHP ile HTTP Header'a aşağıdaki gibi bir ekleme yapabilirsiniz;

header("X-Robots-Tag: noindex, nofollow", true);