Как проверить, проиндексирована ли страница в Google

Сначала найдите точный URL

Введите или вставьте в строку поиска полный адрес, включая схему. Результат означает, что URL есть в индексе. Отсутствие результата означает, что его там нет, либо он проиндексирован под другим URL, который Google выбрал как канонический.

Это работает без аккаунта, на любом сайте, включая сайты, которые вам не принадлежат. Это проверка, которую стоит выполнить прежде любой более сложной, потому что удивительная доля сообщений "моя страница не индексируется" заканчивается именно здесь - страница все это время была в индексе, просто ранжировалась слишком низко, чтобы ее заметили.

Используйте оператор site: для примерного счета

Оператор site: ограничивает результаты одним хостом или одним путем:

site:example.com
site:example.com/blog/
site:example.com inurl:product

Относитесь к показанному числу как к оценке, а не как к данным. Оно генерируется ради скорости, меняется от запуска к запуску и на крупном сайте может отличаться от реальности на порядок. Полезно оно для формы: сайт с 4 000 страниц, показывающий горстку результатов, имеет проблему на уровне всего сайта, а путь, не возвращающий ничего, пока соседние пути возвращают результаты, указывает на один шаблон или один раздел.

Используйте проверку URL для настоящего ответа

Для ресурса, подтвержденного в Search Console, инструмент проверки URL дает авторитетный ответ. Он показывает, есть ли URL в Google, заявленный вами канонический адрес рядом с тем, который на самом деле выбрал Google, дату последнего обхода, краулера-пользовательский агент и разрешена ли индексация. Когда страница не проиндексирована, здесь называют причину, а не гадают.

Стоит знать о двух ограничениях. Инструмент показывает состояние по последней попытке индексации, поэтому он отстает от изменения, сделанного час назад, а "Проверить рабочий URL" получает страницу прямо сейчас, но не меняет состояние индексации. Запросить индексацию после реального исправления разумно; запрашивать ее повторно ничего не ускоряет.

Что значит "Обнаружена, но пока не проиндексирована"

Google знает о существовании URL - из ссылки или карты сайта, но еще не обходил его. Это решение об обходе, а не вердикт о качестве, и обычные причины - объем и мощность: одновременно появилось большое число новых URL, сервер работал медленно или отдавал ошибки, либо URL зарыт глубоко во внутренней структуре ссылок.

Помогает сделать страницу дешевле для обхода и заметнее по ценности. Ссылайтесь на нее со страниц, которые уже обходятся часто, держите сервер быстрым под нагрузкой от краулера и убирайте малоценные URL, съедающие тот же бюджет обхода, например комбинации параметров и пустые сочетания фильтров.

Что значит "Просканирована, но пока не проиндексирована"

Google получил страницу и решил не индексировать ее. Это суждение о качестве или дублировании, а не техническая неисправность, и никакая повторная отправка это не изменит. Реалистичные шаги - сделать страницу заметно лучше того, что уже ранжируется, объединить ее с более сильной страницей с редиректом, либо смириться с тем, что тонкая листинговая страница не обязана быть в индексе.

Смежный вердикт "Дубликат, Google выбрал другой канонический URL, чем пользователь" - другая проблема с тем же симптомом: страница проиндексирована, просто под другим URL. Прежде чем считать страницу пропавшей, сравните заявленный и выбранный канонический адрес в проверке URL.

Проверьте сигналы на странице, блокирующие индексацию

Три технические причины объясняют большинство страниц, которые действительно не могут быть проиндексированы, и все три видны прямо на отдаваемой странице:

1. Директива noindex в мета-теге или заголовке X-Robots-Tag. См. что делает noindex.
2. Канонический адрес, указывающий в другое место, что просит объединить страницу с другим URL. См. что такое канонический URL.
3. Правило robots.txt, блокирующее путь и полностью запрещающее обход. См. как проверить robots.txt.

Проверять это по одному URL за раз - как раз то место, где такой подход перестает масштабироваться, потому что причина почти всегда в шаблоне, а не в конкретной странице, а затронутые URL - это как раз те, которые никто не додумался проверить.

Проверьте весь сайт сразу

Для одного URL бесплатная проверка noindex показывает мета-тег robots, заголовок X-Robots-Tag, канонический адрес и разрешает ли robots.txt страницу - все в одном результате. Для всего сайта бесплатный инструмент обхода сайта проходит его от стартового URL и сообщает по каждой странице, несет ли она флаг noindex, отсутствует ли канонический адрес или указывает ли он на другой URL, и какие страницы дублируют друг друга по содержимому, так что блокировка на уровне шаблона проявляется как блок строк, а не как одна невезучая страница. Чтобы узнать о новом noindex или перемещенном каноническом адресе в день публикации, а не когда упадет трафик, включите опцию Indexability на HTTP-мониторе для ключевых страниц - SEO-мониторинг объясняет, что он считывает и как приходит уведомление.