Engellenen sayfalar için robots.txt nasıl kontrol edilir

robots.txt'nin nerede yaşaması gerekir

Ana bilgisayarın kökünde, /robots.txt olarak, düz UTF-8 metin halinde oturmalıdır. Tam olarak bir şema, ana bilgisayar ve porta uygulanır, bu yüzden https://example.com/robots.txt, https://shop.example.com'da hiçbir şeyi ve aynı ana bilgisayarın http versiyonunda hiçbir şeyi yönetmez. Kontrol etmek istediğiniz her alt alan adının kendi dosyasına ihtiyacı vardır.

Dosyanın döndürdüğü durum kodu, içeriği kadar önemlidir. Bir 404, "kısıtlama yok, her şeyi tara" olarak okunur, ki bu tamamen geçerli bir durumdur. Tekrarlanan bir 5xx geçici bir başarısızlık olarak okunur ve Google, devam etmesine izin verildiğini varsaymak yerine ana bilgisayarı taramayı duraklatabilir. Bir 403, bu amaç için bir sunucu hatası gibi davranır. robots.txt güvenilmezse, tarama da onunla birlikte güvenilmez olur.

Sözdizimi, beş satırda

User-agent: *
Disallow: /admin/
Allow: /admin/public-page.html
Disallow: /*?sessionid=
Sitemap: https://example.com/sitemap.xml

User-agent bir grup açar. Disallow bir yol önekini engeller, Allow bir engelden bir istisna oyar, * herhangi bir karakter dizisiyle eşleşir ve $ bir URL'nin sonunu sabitler. Sitemap, herhangi bir gruptan bağımsızdır ve mutlak bir URL alır. Biçim RFC 9309 olarak standartlaştırılmıştır, bu yüzden burada tarif edilen davranış satıcıya özgü değildir.

İki çözümleme kuralı gerçekte ne olacağına karar verir. Bir tarayıcı yalnızca kendisini adlandıran en spesifik grubu kullanır, ve bir grup onu doğrudan adlandırdığında * grubunu tamamen görmezden gelir. O grup içinde, en uzun eşleşen kural kazanır, ve bir beraberlik Allow'a gider.

Tüm bir siteyi engelleyen hatalar

• Bir hazırlık dağıtımından kalan Disallow: /. Tek bir karakter, tüm site engellendi. Tam olarak bir hazırlık noindex'inin yayıldığı şekilde yayılır: bir sürümle yükseltilen bir yapılandırma dosyası.
• CSS ve JavaScript'i engellemek. Google sayfaları işler, bu yüzden engellenmiş bir varlık dizini, size iyi görünen bir sayfayı tarayıcıya bozuk gösterebilir.
• robots.txt'nin bir sayfayı aramadan kaldırmasını beklemek. Bunu yapamaz. Engellenmiş bir URL, genellikle bir snippet olmadan, hâlâ harici bağlantılardan listelenebilir, ve tarayıcı onu getiremediği için, o sayfadaki bir noindex hiç görülmez. Bir sayfayı kaldırmak için, taramaya izin verin ve noindex sunun.
• robots.txt içinde bir direktif olarak noindex: kullanmak. Bu, standardın hiçbir zaman bir parçası olmadı ve Google 1 Eylül 2019'da ona uymayı bıraktı. Bugün sessizce görmezden gelinir.
• Adlandırılmış bir bot için bir grup eklemek ve joker kuralların hâlâ uygulanmasını beklemek. Uygulanmazlar. User-agent: Googlebot var olduğunda, Googlebot yalnızca o grubu okur ve başka hiçbir şeyi okumaz, bu yüzden her paylaşılan kuralın onun içinde tekrarlanması gerekir.
• Bir grup içinde boş bir satır. Boş bir satır grubu bitirir, bu yüzden ondan sonraki kurallar bir sonraki User-agent satırına kadar hiçbir şeye ait değildir.
• Özel yolları listelemek. Dosya geneldir. İçinde /internal-admin/'i adlandırmak, gizlemeye çalıştığınız şeyin konumunu yayınlar.

Tek bir yolu nasıl test edersiniz

Dosyayı getirin ve önce size uygulanan grubu okuyun:

curl -s https://example.com/robots.txt

Sonra en uzun eşleşme kuralını söz konusu yola elle uygulayın. Disallow: /blog/ ve Allow: /blog/public/ ile, /blog/public/post URL'sine izin verilir çünkü eşleşen Allow kuralı daha uzundur. Sahip olduğunuz bir özellik için, Search Console'daki robots.txt raporu getirilen dosyayı, en son ne zaman alındığını ve ayrıştırma hatalarını gösterir, ki bu tarayıcının düşündüğünüz şeyi okuduğunu doğrulamanın en hızlı yoludur.

Her yerden erişilebilir olduğunu doğrulayın

Kendi masanızdan yüklenen bir robots.txt yine de bir tarayıcı için başarısız olabilir. Bot koruma kuralları, hız sınırları ve coğrafi engeller, sakinlere sıradan hizmet verirken veri merkezi adres aralıklarına düzenli olarak 403 döndürür, ve sonuç, günlüklerinizdeki hiçbir şeyin bir hata olarak adlandırmadığı nedenlerle Google'ın yavaşlattığı veya taramayı durdurduğu bir ana bilgisayardır.

Bunu görmenin yolu, dosyayı ofisiniz olmayan bir yerden istemektir. Ücretsiz HTTP kontrol aracını https://example.com/robots.txt'a yöneltin ve farklı ülkelerdeki kontrol noktalarından döndürülen durum kodunu okuyun. Her yerde bir 200, sağlıklı yanıttır; evde bir 200 ve üç bölgeden bir 403, bulgudur. Kuralların belirli bir sayfayı engelleyip engellemediğini test etmek için, ücretsiz robots.txt test aracı bir URL'yi tüm tarayıcılar için grup karşısında kontrol eder ve sitemap'te listelenip listelenmediğini bildirir. robots.txt sayfanın dışında yaşar, bu yüzden bir HostTracker HTTP monitöründeki Dizinlenebilirlik seçeneği onu okumaz: sayfanın kendisindeki noindex ve canonical etiketlerini izler, beta halindeki zamanlanmış tarama ise her taranan sayfayı robots.txt'ye karşı çapraz kontrol eder. SEO izleme, hangisinin neyi kapsadığını açıklar.