Co je noindex a kdy ho použít

Dvě místa, kde noindex žije

Existují přesně dva podporované způsoby, jak to zapsat, a oba znamenají totéž:

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

Meta tag funguje jen uvnitř <head> HTML dokumentu. Hlavička funguje na cokoli, co server pošle, a proto je jedinou možností pro PDF, obrázek nebo JSON endpoint. Konkrétního robota můžete cílit i podle jména, takže <meta name="googlebot" content="noindex"> se týká Google a ostatní vyhledávače nechá být.

Druhá hodnota v content je samostatné rozhodnutí. noindex, follow nechá stránku mimo index, ale robotům dovolí použít její odkazy; noindex, nofollow zastaví obojí. U stránkovaného archivu nebo filtrovaného výpisu obvykle chcete noindex, follow, protože právě odkazy na takových stránkách jsou to, jak se objevují hlubší stránky.

Kdy je noindex správná volba

Použijte ho na stránkách, které musí být dostupné, ale nemají co hodnotit: interní stránky výsledků vyhledávání, děkovací stránky a stránky s potvrzením objednávky, tiskové duplikáty, oblasti uživatelského účtu, archivy štítků obsahující jen jeden příspěvek, a staging nebo demo prostředí jako celek.

Nepoužívejte ho jako opravu duplicitního obsahu, když jsou obě stránky opravdu totéž. Na to je rel=canonical: canonical sloučí signály z obou URL do jedné, zatímco noindex duplikát zahodí úplně celý, i s odkazy.

Pravidlo, ve kterém se plete úplně každý: procházení je na prvním místě

Aby robot noindex na stránce viděl, musí ji nejdřív stáhnout. Pokud danou URL zablokujete v robots.txt, robot ji nikdy nestáhne, direktivu nikdy neuvidí, a URL se přesto může objevit ve výsledcích díky externím odkazům, obvykle bez popisu.

Kombinovat obojí je tedy kontraproduktivní. Chcete-li stránku odstranit z vyhledávání, povolte procházení a obsluhujte noindex. Jakmile je stránka znovu procházená a vypadne, můžete ji v robots.txt zablokovat, pokud navíc chcete ušetřit rozpočet na procházení. Opačné pořadí nechá stránku v indexu na neurčito. Vložení noindex do robots.txt taky nefunguje; Google tuto nedokumentovanou syntaxi přestal respektovat 1. září 2019.

Jak uniká ze stagingu do produkce

Skoro každý vážný incident s noindex začíná jako záměrný, správný noindex na staging webu. Pak se stane jedna z těchto věcí:

• Kopie databáze. Databáze ze stagingu se obnoví přes produkci a přenese s sebou i příznak CMS. Ve WordPressu je to zaškrtávací políčko "Zabránit vyhledávačům v indexování tohoto webu" v Nastavení, uložené jako řádek volby.
• Povýšení konfigurace. Staging .env soubor nebo nginx úryvek, který přidává X-Robots-Tag: noindex do každé odpovědi, se nasadí spolu s vydáním.
• Sloučení šablony nebo tématu. Napevno zapsaný meta tag ve sdíleném souboru layoutu přežije sloučení, které nikdo nepřečetl řádek po řádku.
• Pravidlo CDN nebo edge napsané na ochranu náhledového hostitele, aplikované na vzor cesty, který sedí i na produkci.

Tohle je nákladné právě proto, že se nic nerozbije. Web vrací 200, normálně se načítá a projde každou kontrolou dostupnosti. Návštěvnost postupně klesá ve dnech, jak jsou stránky znovu procházeny a vypadávají, a než si toho někdo všimne v grafu, i zotavení pak trvá dny.

Jak odhalit noindex, který jste nechtěli

1. Přečtěte si hlavičku. curl -sI https://example.com/ | grep -i x-robots-tag na zdravé stránce nic nevrátí. Cokoli vypíše, stojí za vysvětlení.
2. Přečtěte si meta tag v obsluhovaném HTML, ne ve svém editoru: curl -s https://example.com/ | grep -i 'name="robots"'. Logika na straně serveru i edge workery mohou vkládat tagy, které ve vašem repozitáři vůbec nejsou.
3. Zkontrolujte Search Console. URL Inspection u každé URL hlásí "Vyloučeno tagem 'noindex'" a report Pages seskupí všechny postižené URL pod stejný důvod.
4. Projděte celý web, protože únik málokdy bývá na domovské stránce, kterou jste otestovali. Procházení označí noindex po jednotlivých URL, takže šablona ovlivňující jen produktové stránky se projeví jako blok označených řádků, ne jako jedno osamocené překvapení.

Noindex na celém webu je snadný případ. Běžnější je jedna šablona nebo jedna trasa, což je přesně to, co namátková kontrola domovské stránky mine.

Zkontrolujte každou stránku, ne jen tu, na kterou si vzpomenete

Pro jednu URL bezplatná kontrola noindex přečte meta tag robots i hlavičku X-Robots-Tag přesně tak, jak je stránka obsluhovaná, a řekne vám, který z nich direktivu nastavil. Chcete-li zjistit, jestli jde o jednu stránku, nebo celou sekci, bezplatný nástroj pro procházení webu web projde a označí každou nalezenou stránku s noindex, spolu s chybějícími canonical a duplicitním obsahem. A protože únik obvykle přichází s vydáním, volba Indexability u HTTP monitoru HostTracker čte obojí při každé kontrole a pošle upozornění v den, kdy se některé z toho změní - jak to funguje, vysvětluje SEO monitoring.