Сайт зник із Google: що перевірити
Якщо ваш сайт зник із Google, пройдіться причинами в порядку того, наскільки швидко їх можна виключити: ручні санкції, noindex, robots.txt, канонічний адрес, злам чи потрапляння до чорного списку, серверні помилки, і, нарешті, сам домен. Шість із семи видно ззовні сайту за кілька хвилин, і порядок нижче обрано так, щоб найдешевші перевірки йшли першими.
Спершу підтвердьте, що сайт справді зник
Знайдіть точну URL вашої головної сторінки, а потім запустіть site:example.com. Відсутність результатів для обох варіантів вказує на причину в масштабі всього сайту, і список нижче застосовується саме тоді. Результати для головної сторінки, але не для розділу вказують на один шаблон чи один шлях, що суттєво звужує пошук. Результати, що всі присутні, але ранжуються гірше, ніж минулого місяця, - інша проблема: це зміна ранжування, а не деіндексація, і жоден із цих кроків її не стосується.
1. Перевірте наявність ручних санкцій
Search Console, Security and Manual Actions, Manual actions. Ручна санкція означає, що живий рецензент застосував штраф, і вона називає причину й обсяг. Ніщо інше зі списку не виправить сайт під такою санкцією. Шлях назад - виправити те, що описано в повідомленні, і подати запит на повторний розгляд, що займає від днів до тижнів. Це перший пункт у списку, бо перевіряється в один клік і робить решту шести пунктів неактуальними.
2. Перевірте наявність noindex
Найпоширеніша причина зникнення цілого сайту без жодних видимих ознак поломки:
curl -sI https://example.com/ | grep -i x-robots-tag
curl -s https://example.com/ | grep -i 'name="robots"'Якщо будь-яка з команд виводить noindex, це і є відповідь. Перевірте сторінку з кожного основного шаблону, а не лише головну, бо витік часто обмежений одним маршрутом. Механізм і звичні шляхи, якими це стається, описано в що робить noindex.
3. Перевірте robots.txt
Відкрийте https://example.com/robots.txt. Рядок Disallow: / під User-agent: * блокує сканування всього сайту. Підтвердьте також, що сам файл повертає 200: стійкий 5xx на robots.txt може змусити Google призупинити сканування хоста, навіть якщо кожна сторінка на ньому в порядку. Правила й пастки описано в як перевірити robots.txt.
4. Перевірте канонічний адрес
curl -s https://example.com/ | grep -i 'rel="canonical"'Якщо канонічний адрес називає staging-хост, домен для розробки чи будь-яку URL, що не є отриманою вами сторінкою, кожна сторінка просить об'єднати себе з чимось іншим. Це канонічний адрес, що вказує на staging, і він дає саме цей симптом, поки сайт продовжує повертати 200.
5. Перевірте, чи не зламано сайт і чи не потрапив він у чорний список
Зламаний сайт часто прибирають із результатів пошуку ще до того, як власник щось помітить. Спершу погляньте на звіт Security Issues у Search Console, а потім перевірте репутаційні списки ззовні: безкоштовна перевірка Web Risk показує, чи позначають вашу URL прямо зараз власні списки шкідливого ПЗ і фішингу Google, а безкоштовна перевірка чорного списку охоплює DNS-чорні списки, що впливають і на доставку вашої пошти. Позначка в будь-якому з них означає, що знайти й прибрати впроваджений вміст треба перш за все, бо перевірка не зніме санкцію, поки сайт усе ще скомпрометований.
6. Перевірте наявність серверних помилок
Сторінки, що повертають 5xx чи не відповідають краулеру вчасно, викидаються з індексу, а сервер, що дає збій лише під навантаженням краулера, виглядає цілком справним у браузері. Перевірте звіт Crawl Stats у Search Console на сплеск невдалих запитів і підтвердьте код стану, який ваш сайт повертає з кількох мереж, бо правила захисту від ботів, що відповідають 403 діапазонам дата-центрів, невидимі зі звичайного браузера.
7. Перевірте, чи не закінчився термін дії домену
Збій, якого ніхто не очікує, бо він кладе сайт повністю і тихо: домен, реєстрацію якого не поновили, або DNS-запис, що зник разом із нею. Безкоштовний WHOIS-пошук показує дати реєстрації й закінчення терміну дії разом із поточними nameserver-ами. Дата закінчення терміну дії в минулому, чи nameserver-и, що вам не належать, пояснюють усе, що вище в цьому списку.
Чому цей список такий довгий
Кожна причина тут, крім ручної санкції, дає сайт, що завантажується правильно, повертає 200 і проходить звичайну перевірку аптайму, тому перший сигнал зазвичай - графік трафіку через тиждень після того, як зміна вже сталася. Виконання цих перевірок вручну ловить проблему один раз. Безкоштовний інструмент сканування сайту охоплює половину списку, що стосується самої сторінки, за один прохід по кожній сторінці, а не по тих двох-трьох, які ви випадково перевірили. Щоб упіймати наступну проблему одразу, як вона з'явиться, опція Indexability на HTTP-моніторі HostTracker читає директиви noindex і канонічний адрес ваших ключових сторінок при кожній перевірці й надсилає сповіщення, коли щось змінюється - моніторинг SEO показує, як це працює поряд із перевірками аптайму, сертифіката й закінчення терміну дії домену.