Короткое сравнение
| Инструмент | Основная задача | Страница доступна роботу |
|---|---|---|
| robots.txt Disallow | Ограничить обход | Нет для указанного робота |
| meta robots noindex | Не включать страницу в индекс | Да |
| rel=canonical | Указать предпочтительный URL | Да |
Что делает robots.txt
Robots.txt читается до обхода страниц и задает правила доступа. Disallow полезен для служебных разделов и множества технических URL. Он не является надежным способом удаления уже известного адреса из индекса.
Что делает noindex
Noindex находится в HTML страницы или HTTP-заголовке. Чтобы выполнить инструкцию, робот должен получить документ. Поэтому сочетание Disallow и noindex может быть противоречивым: запрет обхода мешает увидеть запрет индексации.
Что делает canonical
Canonical используется для одинаковых или очень близких страниц. Он сообщает, какой URL предпочтителен. Это сигнал, поэтому внутренние ссылки, sitemap и содержимое должны поддерживать тот же выбор.
Как выбирать инструмент
| Ситуация | Решение |
|---|---|
| Страница переехала навсегда | 301 |
| Дубли с параметрами должны оставаться доступными | canonical или Clean-param для Яндекса |
| Страница спасибо после формы | noindex |
| Технический раздел не нужно обходить | Disallow |
Типичные конфликты
Disallow плюс noindex может помешать роботу увидеть noindex. Canonical на URL, который сам редиректит, создает лишнюю путаницу. Noindex на канонической странице одновременно объявляет документ главным и исключает его из индекса.
Что учитывать в Яндексе
Яндекс рекомендует canonical для дублей и Clean-param для незначащих GET-параметров. Подробности есть в справке Вебмастера.
Почему одна и та же проблема требует разных инструментов
Фраза закрыть страницу от поиска слишком общая. Сначала нужно понять, хотим ли мы запретить обход, исключить документ из индекса или объединить его сигналы с другой страницей. Только после этого выбирается инструмент. Иначе легко получить конфликт: URL закрыт robots.txt, но на нем стоит noindex; canonical указывает на страницу, которая сама запрещена к индексированию; sitemap продолжает отправлять роботу документ, который проект считает служебным.
Google прямо рекомендует не использовать robots.txt для каноникализации и не заменять canonical директивой noindex внутри группы дублей. Яндекс также выделяет разные сценарии для дублей, незначащих GET-параметров и технических страниц. Поэтому при массовом аудите мы сначала классифицируем URL, а уже затем правим настройки. См. рекомендации Google по каноникализации и справку Яндекса по дублям.
Для Tilda
Практически всегда стоит проверять связку целиком: noindex, robots.txt, канонический URL и sitemap. Отдельная настройка может быть формально корректной, но противоречить остальным сигналам.
Решение начинается с судьбы URL
Перед выбором директивы ответьте на один вопрос: страница должна существовать, переехать, остаться доступной без поиска или объединиться с другой версией. После этого инструмент выбирается почти автоматически. Переезд требует редиректа, дубль - согласованной канонизации, служебная страница - запрета индексации, технический раздел - ограничения обхода при необходимости.
Такой порядок снижает число конфликтов, когда sitemap предлагает индексировать URL, canonical ведет на другой адрес, а robots.txt одновременно запрещает роботу его читать.
Как выбрать инструмент без конфликтов
Robots.txt управляет обходом, noindex - участием полученной страницы в индексе, canonical - выбором основной версии среди дублей. Они дополняют друг друга только при согласованной настройке.
