Noindex nedir ve ne zaman kullanılır

Noindex'in yaşadığı iki yer

Bunu söylemenin desteklenen tam olarak iki yolu vardır, ve ikisi de aynı anlama gelir:

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

Meta etiketi yalnızca bir HTML belgesinin <head>'i içinde çalışır. Başlık, sunucunun gönderdiği her şeyde çalışır, ki bu da onu bir PDF, bir resim veya bir JSON uç noktası için tek seçenek yapar. Belirli bir tarayıcıyı ada göre de hedefleyebilirsiniz, bu yüzden <meta name="googlebot" content="noindex"> Google'a uygulanır ve diğer motorları rahatsız etmez.

content'teki ikinci değer ayrı bir karardır. noindex, follow, sayfayı indeksin dışında tutarken tarayıcıların bağlantılarını kullanmasına izin verir; noindex, nofollow ikisini de durdurur. Sayfalanmış bir arşiv veya filtrelenmiş bir liste için, genellikle istediğiniz noindex, follow'dur, çünkü o sayfalardaki bağlantılar daha derin sayfaların nasıl keşfedildiğidir.

Noindex ne zaman doğru seçimdir

Onu, erişilebilir olması gereken ama sıralanmasının hiçbir anlamı olmayan sayfalarda kullanın: iç arama sonuç sayfaları, teşekkür ve sipariş onayı sayfaları, yazıcı dostu kopyalar, kullanıcı hesap alanları, her biri tek bir gönderi tutan etiket arşivleri, ve bir bütün olarak staging veya demo ortamları.

İki sayfa gerçekten aynı şeyse bunu bir yinelenen içerik düzeltmesi olarak kullanmayın. rel=canonical'ın var olma amacı budur: bir kanonik her iki URL'nin sinyallerini birine birleştirirken, noindex kopyayı bağlantılarla birlikte tamamen atar.

Herkesin yanlış anladığı kural: önce tarama gelir

Bir tarayıcının, üzerindeki noindex'i görmesi için bir sayfayı getirmesi gerekir. O URL'yi robots.txt'te engellerseniz, tarayıcı onu asla getirmez, direktifi asla görmez, ve URL, genellikle bir açıklama olmadan, dış bağlantılardan gelen sonuçlarda hala görünebilir.

Yani ikisini birleştirmek kendi kendini yenilgiye uğratır. Bir sayfayı aramadan kaldırmak için, taramaya izin verin ve noindex sunun. Sayfa yeniden tarandıktan ve düşürüldükten sonra, tarama bütçesini de korumak isterseniz onu robots.txt'te engelleyebilirsiniz. Bunu diğer sırayla yapmak, sayfayı süresiz olarak indekste bırakır. noindex'i robots.txt'in içine koymak da işe yaramaz; Google bu belgelenmemiş sözdizimine 1 Eylül 2019'da uymayı bıraktı.

Staging'den üretime nasıl sızar

Neredeyse her ciddi noindex olayı, bir staging sitesinde kasıtlı, doğru bir noindex olarak başlar. Sonra şunlardan biri olur:

• Bir veritabanı kopyası. Staging veritabanı, CMS bayrağını da beraberinde taşıyarak üretimin üzerine geri yüklenir. WordPress'te bu, bir seçenek satırı olarak saklanan, Ayarlar altındaki "Arama motorlarını bu siteyi indekslemekten caydır" onay kutusudur.
• Bir yapılandırma yükseltmesi. Her yanıta X-Robots-Tag: noindex ekleyen staging .env'i veya nginx parçacığı, sürümle birlikte dağıtılır.
• Bir tema veya şablon birleştirmesi. Paylaşılan bir düzen dosyasındaki sabit kodlanmış bir meta etiketi, kimsenin satır satır okumadığı bir birleştirmeden sağ çıkar.
• Üretimle de eşleşen bir rota desenine uygulanan, bir önizleme ana bilgisayar adını korumak için yazılmış bir CDN veya edge kuralı.

Bunun pahalıya mal olmasının nedeni hiçbir şeyin bozulmamasıdır. Site 200 döndürür, normal yüklenir, ve her çalışma süresi kontrolünü geçer. Sayfalar yeniden tarandıkça ve düşürüldükçe trafik günler içinde azalır, ve biri grafiği fark ettiğinde, kurtarma da günler sürer.

Kastetmediğiniz bir noindex'i nasıl fark edersiniz

1. Başlığı okuyun. curl -sI https://example.com/ | grep -i x-robots-tag, sağlıklı bir sayfada hiçbir şey döndürmez. Yazdırdığı her şey açıklamaya değer.
2. Editörünüzde değil sunulan HTML'de meta etiketini okuyun: curl -s https://example.com/ | grep -i 'name="robots"'. Sunucu taraflı mantık ve edge worker'lar, deponuzda olmayan etiketler ekleyebilir.
3. Search Console'u kontrol edin. URL İnceleme, URL başına "'noindex' etiketiyle hariç tutuldu" raporlar, ve Sayfalar raporu etkilenen her URL'yi aynı neden altında gruplar.
4. Tüm siteyi tarayın, çünkü sızıntı nadiren test ettiğiniz ana sayfadadır. Bir tarama, URL başına noindex'i işaretler, bu yüzden yalnızca ürün sayfalarını etkileyen bir şablon, tek bir sürpriz yerine işaretli satırlardan oluşan bir blok olarak görünür.

Site genelinde noindex kolay durumdur. Yaygın olan, tek bir şablon veya tek bir rotadır, ki bu da ana sayfadaki bir nokta kontrolünün tam olarak kaçırdığı şeydir.

Yalnızca hatırladığınızı değil, her sayfayı kontrol edin

Tek bir URL için, ücretsiz noindex kontrol aracı, sayfa sunulurken robots meta etiketini ve X-Robots-Tag başlığını okur ve hangisinin direktifi ayarladığını söyler. Bunun tek bir sayfa mı yoksa tüm bir bölüm mü olduğunu görmek için, ücretsiz site tarama aracı siteyi gezer ve bulduğu her noindex sayfasını, eksik kanonikler ve yinelenen gövdelerle birlikte işaretler. Ve sızıntı genellikle bir sürümle geldiğinden, bir HostTracker HTTP monitöründeki İndekslenebilirlik seçeneği her kontrolde ikisini de okur ve birinin değiştiği gün bir bildirim gönderir - SEO izleme, bunun nasıl çalıştığını açıklar.