Сайт пропал из Google: что проверить
Если сайт пропал из Google, разбирайте причины в порядке того, насколько быстро их можно исключить: ручные санкции, noindex, robots.txt, канонический адрес, взлом или блеклист, серверные ошибки, и только потом сам домен. Шесть из семи видны снаружи сайта за несколько минут, и порядок ниже выбран так, чтобы сначала шли самые дешевые проверки.
Сначала убедитесь, что сайт действительно пропал
Найдите точный URL главной страницы, затем выполните site:example.com. Отсутствие результатов в обоих
случаях указывает на причину, затрагивающую весь сайт, и дальше применим список ниже. Результаты по главной странице,
но не по разделу указывают на один шаблон или один путь, что заметно сужает поиск. Если все результаты на месте, но
ранжирование хуже, чем в прошлом месяце - это другая проблема: изменение позиций, а не деиндексация, и ни один из этих шагов ее не решает.
1. Проверьте наличие ручных санкций
Search Console, раздел «Безопасность и ручные меры», «Ручные меры». Ручная санкция означает, что живой модератор применил штраф, и в ней названа причина и охват. Ничто другое из этого списка не поможет сайту под такой санкцией. Путь назад - исправить то, что описано в уведомлении, и подать запрос на пересмотр, который рассматривается от дней до недель. Этот пункт стоит первым, потому что проверяется в один клик и делает остальные шесть неактуальными.
2. Проверьте наличие noindex
Самая частая причина исчезновения всего сайта без каких-либо видимых поломок:
curl -sI https://example.com/ | grep -i x-robots-tag
curl -s https://example.com/ | grep -i 'name="robots"'Если хотя бы одна из команд печатает noindex, вот и ответ. Проверьте по странице от каждого основного
шаблона, а не только главную, потому что утечка часто ограничена одним маршрутом. Сам механизм и обычные способы,
которыми это попадает в прод, разобраны в что делает noindex.
3. Проверьте robots.txt
Откройте https://example.com/robots.txt. Строка Disallow: / под User-agent: *
блокирует обход всего сайта. Также убедитесь, что сам файл отдает 200: устойчивая 5xx на robots.txt может заставить
Google приостановить обход хоста целиком, даже если каждая отдельная страница на нем в порядке. Правила и типичные
ловушки разобраны в как проверить robots.txt.
4. Проверьте канонический адрес
curl -s https://example.com/ | grep -i 'rel="canonical"'Если канонический адрес называет тестовый хост, домен для разработки или любой другой URL, отличный от запрошенной страницы, каждая страница просит объединить ее с чем-то другим. Это канонический адрес, указывающий на staging, и он дает ровно такой симптом, пока сайт продолжает отдавать 200.
5. Проверьте, не взломан ли сайт и не в блеклисте ли он
Скомпрометированный сайт часто убирают из результатов еще до того, как его владелец что-то замечает. Сначала посмотрите отчет о проблемах безопасности в Search Console, затем проверьте репутационные списки снаружи: бесплатная проверка Web Risk показывает, помечают ли ваш URL собственные списки вредоносного ПО и фишинга Google прямо сейчас, а бесплатная проверка блеклистов охватывает DNS-блеклисты, влияющие в том числе на доставку вашей почты. Пометка в любом из этих списков означает, что найти и удалить внедренный контент нужно раньше всего остального, поскольку проверка не снимет статус, пока сайт остается скомпрометированным.
6. Проверьте наличие серверных ошибок
Страницы, отдающие 5xx или уходящие в таймаут для краулера, выпадают из индекса, а сервер, отказывающий только под нагрузкой от краулера, в браузере выглядит абсолютно здоровым. Проверьте отчет о статистике обхода в Search Console на всплеск неудачных запросов и сверьте код состояния, который ваш сайт отдает из нескольких сетей, поскольку правила защиты от ботов, отвечающие 403 диапазонам дата-центров, из обычного браузера незаметны.
7. Проверьте, не истек ли домен
Сбой, которого никто не ожидает, потому что он кладет сайт полностью и тихо: домен, просроченный при продлении, либо DNS-запись, удаленная вместе с ним. Бесплатный WHOIS-запрос показывает даты регистрации и истечения вместе с текущими серверами имен. Дата истечения в прошлом или серверы имен, которые вам не принадлежат, объясняют все, что стоит выше в этом списке.
Почему этот список такой длинный
Каждая причина в этом списке, кроме ручной санкции, дает сайт, который загружается корректно, отдает 200 и проходит обычную проверку аптайма, поэтому первым сигналом обычно оказывается график трафика спустя неделю после того, как изменение уже выкатили. Выполнить эти проверки вручную можно один раз. Бесплатный инструмент обхода сайта покрывает половину этого списка, относящуюся к самой странице, за один проход по каждой странице, а не по двум-трем, которые случайно попробовали проверить. Чтобы поймать следующий случай в день его публикации, опция Indexability в HTTP-мониторе HostTracker считывает директивы noindex и канонический адрес ваших ключевых страниц при каждой проверке и отправляет уведомление, когда что-то из этого меняется - SEO-мониторинг показывает, как это работает вместе с проверками аптайма, сертификата и истечения домена.