robots.txt Oluşturucu

Arama robotlarına nereye gideceğini söyleyen küçük bir dosya

Google'ın ya da Bing'in robotu sitenizi dolaşmadan önce alan adının kökündeki robots.txt adlı bir metin dosyasını okur. Orada şunu söylersiniz: bu klasörleri ziyaret etme, site haritam da burada. Jood'un robots.txt oluşturucusu bu dosyayı doğru söz dizimiyle yazar; böylece yanlış bir satır bütün sitenizi engellemez.

Nasıl kullanılır

1. "Arama Robotları İçin Varsayılan Erişim"i seçin: önerilen seçenek olan tüm robotlara izin vermek ya da hepsini engellemek.
2. "Engellenen Klasörler" bölümüne her satıra bir klasör yazın, örneğin /admin/. Baştaki eğik çizgiyi unutursanız araç ekler.
3. İsterseniz "Tarama Gecikmesi" ve "XML Site Haritası URL’si" ekleyin, sonra "Şimdi Başla" düğmesine basıp sonucu kopyalayın.
4. Metni robots.txt adlı bir dosyaya kaydedin ve example.com/robots.txt adresinde açılacak şekilde sitenizin köküne yükleyin.

Her satır ne anlama gelir

• User-agent: kurallar kimin için. Yıldız bütün robotlar demektir.
• Disallow: ziyaret edilmeyecek yol. Boş bırakılırsa hiçbir şey engellenmez. Tek başına eğik çizgi bütün siteyi engeller; bunu yalnızca bir test sitesi için seçin.
• Crawl-delay: iki istek arasında beklenecek saniye. Bing buna uyar, Google yok sayar; araç bunu size hatırlatır.
• Sitemap: site haritanızın adresi; böylece bütün arama motorları, siz tek tek göndermeden onu bulur.

Bilinmesi gereken yaygın hatalar

• robots.txt bir koruma değildir: yalnızca düzgün arama motorlarının uyduğu kibar bir ricadır. Gizli yolları yazmayın, çünkü dosyayı herkes okuyabilir.
• Engellemek sonuçlardan gizlemek değildir: engellenen bir sayfa, başka siteler ona bağlantı verirse Google'da görünebilir. Bir sayfayı sonuçlardan çıkarmak için noindex kullanın ve robotun onu görmesi için sayfayı ziyaret etmesine izin verin.
• Her alt alan adının kendi dosyası vardır: example.com'daki dosya shop.example.com için geçerli değildir.
• Yapay zekâ robotları: araç bütün robotlar için tek kural yazar. Belirli bir robotu, örneğin GPTBot'u engellemek için iki satırı elle ekleyin: User-agent: GPTBot ve ardından Disallow: /.

Site haritasının kendisini oluşturmak için XML site haritası oluşturucuyu, sitenizin tamamını denetlemek için kapsamlı web sitesi SEO denetimini kullanın.

Sıkça Sorulan Sorular