Як перевірити, чи сторінка проіндексована Google
Щоб перевірити, чи проіндексована сторінка, вставте її повний URL у пошук Google; якщо сторінка знайдеться, вона проіндексована. Це займає п'ять секунд і дає відповідь на запитання. Далі інструмент URL Inspection у Search Console пояснює, чому відповідь саме така, а це те, що потрібно, коли відповідь - ні.
Спершу знайдіть точний URL
Введіть чи вставте в рядок пошуку повну адресу, включно зі схемою. Результат означає, що URL є в індексі. Відсутність результату означає, що його там немає, або що він проіндексований під іншим URL, який Google обрав як канонічний.
Це працює без акаунта, на будь-якому сайті, включно з тими, що вам не належать. Це перевірка, яку варто виконати перш ніж братися за щось складніше, бо дивовижна частка скарг "моя сторінка не індексується" закінчується саме тут - сторінка увесь цей час була в індексі, просто ранжувалася надто низько, щоб її помітили.
Скористайтеся оператором site: для приблизного підрахунку
Оператор site: обмежує результати одним хостом чи одним шляхом:
site:example.com
site:example.com/blog/
site:example.com inurl:product
Ставтеся до показаного числа як до оцінки, а не як до даних. Воно генерується заради швидкості, змінюється від запуску до запуску і на великому сайті може відрізнятися від реальності на порядок. Корисне воно для форми: сайт із 4000 сторінок, що показує жменьку результатів, має проблему на рівні всього сайту, а шлях, що не повертає нічого, поки сусідні шляхи повертають результати, вказує на один шаблон чи один розділ.
Скористайтеся URL Inspection для справжньої відповіді
Для ресурсу, підтвердженого в Search Console, URL Inspection дає авторитетну відповідь. Він показує, чи є URL у Google, заявлений вами канонічний адрес поряд із тим, який насправді обрав Google, дату останнього сканування, краулера-агента користувача і чи дозволена індексація. Коли сторінка не проіндексована, тут називають причину, а не гадають.
Варто знати про два обмеження. Інструмент показує стан за останньою спробою індексації, тож він відстає від зміни, зробленої годину тому, а "Test live URL" отримує сторінку прямо зараз, але не змінює стан індексації. Запросити індексацію після реального виправлення - розумно; запитувати її повторно нічого не пришвидшує.
Що означає "Discovered - currently not indexed"
Google знає про існування URL - з посилання чи карти сайту, але ще не сканував його. Це рішення про сканування, а не вердикт про якість, і звичні причини - обсяг і потужність: одночасно з'явилася велика кількість нових URL, сервер працював повільно чи повертав помилки, або URL похований глибоко у внутрішній структурі посилань.
Допомагає зробити сторінку дешевшою для сканування і помітнішою за цінністю. Посилайтеся на неї зі сторінок, які вже сканують часто, тримайте сервер швидким під навантаженням краулера і прибирайте малоцінні URL, що з'їдають той самий бюджет сканування, наприклад комбінації параметрів і порожні поєднання фільтрів.
Що означає "Crawled - currently not indexed"
Google отримав сторінку і вирішив не індексувати її. Це судження про якість чи дублювання, а не технічний збій, і жодна повторна відправка цього не змінить. Реалістичні кроки - зробити сторінку помітно кращою за те, що вже ранжується, об'єднати її з сильнішою сторінкою й перенаправити, або змиритися з тим, що тонка службова сторінка не мусить бути в індексі.
Суміжний вердикт "Duplicate, Google chose different canonical than user" - інша проблема з тим самим симптомом: сторінка проіндексована, просто під іншим URL. Перш ніж вважати сторінку зниклою, порівняйте заявлений і обраний канонічний адрес в URL Inspection.
Перевірте сигнали на сторінці, що блокують індексацію
Три технічні причини пояснюють більшість сторінок, які справді не можуть бути проіндексовані, і всі три видно прямо на сторінці, яку ви віддаєте:
- Директива noindex у мета-тегу чи заголовку
X-Robots-Tag. Дивіться що робить noindex. - Канонічний адрес, що вказує в інше місце, і просить об'єднати сторінку з іншим URL. Дивіться що таке канонічний URL.
- Правило robots.txt, що блокує шлях і повністю забороняє сканування. Дивіться як перевірити robots.txt.
Перевіряти це по одному URL за раз - якраз те місце, де такий підхід перестає масштабуватися, бо причина майже завжди в шаблоні, а не в окремій сторінці, а порушені URL - саме ті, які нікому не спало на думку перевірити.
Перевірте весь сайт одразу
Для однієї адреси безкоштовний інструмент перевірки noindex показує мета-тег robots, заголовок X-Robots-Tag, канонічний адрес і чи дозволяє сторінку robots.txt - усе в одному результаті. Для всього сайту безкоштовний інструмент сканування сайту проходить його від стартового URL і повідомляє по кожній сторінці, чи несе вона прапорець noindex, чи відсутній канонічний адрес або вказує на іншу URL, і які сторінки дублюють одна одну за вмістом сторінки, тож блокування на рівні шаблону проявляється як блок рядків, а не як одна невезуча сторінка. Щоб дізнатися про новий noindex чи перенесений канонічний адрес того самого дня, коли це станеться, а не коли впаде трафік, увімкніть опцію Indexability на HTTP-моніторі для ваших ключових сторінок - моніторинг SEO пояснює, що саме він читає і як приходить сповіщення.