Robots.txt dosyası, arama motorlarına ait botların sitenizde ulaşamayacağı ve bunun sonucu olarak indexleyemeyeceği sayfaları gösterir. Sitenin kök dizininde "public read" izni ile tutulur. Bu da bu dosyaya erişip içeriğini görüntüleyebilen herkesin uygulamanızın dizin yapısıyla ilgili bilgi sahibi olmasına sebep olur. Örnek bir Robots.txt dosyası:

...

Devamını oku »