Google Search Console
Используйте URL Inspection. Инструмент показывает, известна ли страница Google, индексируется ли она, какой canonical выбран и когда был последний обход.
Яндекс Вебмастер
Найдите URL в Страницах в поиске и исключенных страницах. Вебмастер показывает причины вроде DUPLICATE, редиректа или малоценного документа.
Оператор site:
Запрос site:example.ru/page можно использовать для быстрой проверки, но отсутствие результата не является окончательным диагнозом. Поисковые операторы не предназначены для полного аудита индекса.
HTTP-код
Индексируемая страница должна быть доступна и обычно отвечать 200. Если URL редиректит, проверять нужно конечную страницу.
Robots и noindex
Проверьте, не закрыт ли документ. Для noindex робот должен иметь возможность загрузить страницу и увидеть директиву.
Canonical
Если canonical указывает на другой URL, отсутствие исходной страницы в индексе может быть ожидаемым результатом.
Короткая последовательность
- HTTP 200;
- нет noindex;
- robots не блокирует нужный обход;
- canonical корректен;
- URL проверен в Вебмастере;
- URL проверен в Search Console.
Проверка перед публикацией
- проверить HTTP-код;
- проверить meta robots;
- проверить canonical;
- найти статус в Яндекс Вебмастере;
- проверить URL Inspection Google;
- посмотреть дату последнего обхода;
Для регулярного контроля храните список важных URL и их статусы. Тогда после редизайна или миграции можно быстро сравнить индексирование до и после.
Где чаще возникает ошибка
Оператор site: удобен для быстрой ручной проверки, но он не дает полного списка индекса и причин исключения. Делать вывод только по нему нельзя.
Почему оператор site: недостаточен
Команда site: удобна для быстрой ориентировочной проверки, но не является надежным диагностическим инструментом. Страница может отсутствовать в такой выдаче и при этом быть известна поисковой системе, или наоборот показываться по историческим данным. Для решения используйте панели владельца сайта.
В Яндекс Вебмастере смотрите статус конкретного URL и доступность роботу. В Google Search Console - проверку URL, заявленный и выбранный canonical, дату последнего сканирования и отрендеренную страницу.
Записывайте не только да/нет
Для больших списков удобно хранить четыре поля: HTTP-код, доступность к индексации, canonical и текущий статус поисковой системы. Тогда видно, где техническая проблема, а где решение алгоритма. Для дальнейшей диагностики используйте исчезновение страницы из Яндекса, исключение из Google и переобход после исправлений.
Для диагностики приоритет у инструментов владельца сайта
Оператор site: полезен как быстрый ориентир, но не показывает причину исключения и может отражать данные с задержкой. В Яндекс Вебмастере можно проверить статус URL и доступный роботу контент, а в Search Console - индексированную версию и выбранный canonical.
Официальный инструмент Яндекса описан в справке Проверка страницы, Google - в справке проверки URL.
Для Яндекса полезна проверка ответа сервера
Инструмент Вебмастера показывает HTTP-код и доступность URL для выбранного робота. Это быстрый способ отделить техническую недоступность от решения алгоритма об индексации. См. официальную инструкцию.
Какой статус считать надежным
Индексацию отдельной страницы проверяйте по данным поисковых панелей. Оператор site: оставляйте вспомогательным инструментом, а причины исключения ищите в статусах конкретного URL.
