Web zmizel z Google: co zkontrolovat

Nejprve ověřte, že je opravdu pryč

Vyhledejte přesnou URL adresu vaší domovské stránky a poté spusťte site:example.com. Žádné výsledky u obojího ukazují na příčinu na úrovni celého webu a platí seznam níže. Výsledky pro domovskou stránku, ale ne pro sekci, ukazují na jednu šablonu nebo jednu cestu, což hledání výrazně zúží. Výsledky, které jsou všechny přítomné, ale řadí se hůř než minulý měsíc, jsou jiný problém: jde o změnu v řazení, ne o odindexování, a žádný z těchto kroků to neřeší.

1. Zkontrolujte ruční akci

Search Console, Zabezpečení a ruční akce, Ruční akce. Ruční akce znamená, že lidský recenzent uplatnil postih, a udává důvod i rozsah. Nic dalšího na tomto seznamu web pod takovým postihem neopraví. Cesta zpět vede přes opravu toho, co oznámení popisuje, a podání žádosti o nové posouzení, které trvá dny až týdny. Je to na seznamu první, protože stačí jedno kliknutí a dělá to zbylých šest bodů bezpředmětnými.

2. Zkontrolujte noindex

Nejčastější příčina toho, že celý web zmizí, aniž by cokoli vypadalo rozbitě:

curl -sI https://example.com/ | grep -i x-robots-tag
curl -s https://example.com/ | grep -i 'name="robots"'

Pokud kterýkoli z příkazů vypíše noindex, máte odpověď. Zkontrolujte stránku z každé hlavní šablony, ne jen domovskou stránku, protože únik bývá často omezen na jednu trasu. Mechanismus a obvyklé cesty, kterými se to dostane do produkce, popisuje co dělá noindex.

3. Zkontrolujte robots.txt

Otevřete https://example.com/robots.txt. Disallow: / pod User-agent: * blokuje procházení celého webu. Ověřte také, že samotný soubor vrací 200: trvalé 5xx na robots.txt může Google donutit procházení hostitele pozastavit, i když je každá stránka na něm v pořádku. Pravidla i pasti popisuje jak zkontrolovat robots.txt.

4. Zkontrolujte kanonickou adresu

curl -s https://example.com/ | grep -i 'rel="canonical"'

Pokud kanonická adresa uvádí testovacího hostitele, vývojovou doménu nebo jakoukoli URL adresu, která není stránkou, kterou jste stáhli, každá stránka žádá, aby byla sloučena někam jinam. To je kanonická adresa ukazující na staging, a produkuje to přesně tento příznak, zatímco web dál vrací 200.

5. Zkontrolujte, zda web není napadený nebo na blacklistu

Napadený web bývá z výsledků odstraněn dřív, než si toho jeho vlastník vůbec všimne. Nejprve se podívejte na hlášení Bezpečnostní problémy v Search Console, poté zkontrolujte reputační seznamy zvenčí: bezplatná kontrola Web Risk hlásí, zda vaši URL adresu aktuálně označují vlastní seznamy malwaru a phishingu Google, a bezplatná kontrola blacklistu pokrývá DNS blacklisty, které ovlivňují i doručování vaší pošty. Označení u kteréhokoli z nich znamená, že najít a odstranit vložený obsah je na řadě dřív než cokoli jiného, protože kontrola se neuvolní, dokud je web stále napadený.

6. Zkontrolujte chyby serveru

Stránky, které crawleru vrací 5xx nebo mu vyprší časový limit, se z indexu vyřadí, a server, který selhává jen pod zátěží crawleru, vypadá v prohlížeči naprosto zdravě. Zkontrolujte hlášení Statistiky procházení v Search Console kvůli nárůstu neúspěšných požadavků a ověřte stavový kód, který váš web vrací, z více než jedné sítě, protože pravidla ochrany proti botům, která rozsahům datových center odpovídají 403, jsou z běžného prohlížeče neviditelná.

7. Zkontrolujte, že doména nevypršela

Selhání, které nikdo nečeká, protože web srazí úplně a tiše: doména, jejíž obnova při vypršení propadla, nebo DNS záznam, který s ní zmizel. Bezplatné vyhledání WHOIS ukáže datum registrace i vypršení spolu s aktuálními jmennými servery. Datum vypršení v minulosti, nebo jmenné servery, které nejsou vaše, vysvětlí všechno výše na tomto seznamu.

Proč je tento seznam dlouhý

Každá příčina zde kromě ruční akce vytváří web, který se v pořádku načítá, vrací 200 a projde běžnou kontrolou dostupnosti, a proto bývá prvním signálem graf návštěvnosti týden po tom, co se změna dostala do produkce. Ruční projití těchto kontrol to zachytí jednou. Bezplatný nástroj pro procházení webu pokryje polovinu seznamu týkající se samotných stránek v jednom průchodu napříč úplně každou stránkou, ne jen těmi dvěma nebo třemi, které jste náhodou otestovali. Abyste zachytili tu příští hned, jak se objeví, možnost Indexability u HTTP monitoru HostTracker čte direktivy noindex a kanonickou adresu vašich klíčových stránek při každé kontrole a při každé změně pošle upozornění - SEO monitoring ukazuje, jak to funguje spolu s kontrolami dostupnosti, certifikátu a vypršení domény.