Где находится robots.txt на Tilda
Добавьте /robots.txt к основному домену. По справке Tilda файл генерируется автоматически вместе с sitemap.xml, поэтому загружать отдельный файл на хостинг обычного проекта не требуется. Официальный ответ: robots.txt и sitemap.xml на Tilda.
Что делает robots.txt
Файл задает правила обхода для роботов. Директива Disallow может запретить запрашивать определенный путь. Но если URL уже известен из внешних ссылок, сам запрет обхода не всегда означает, что адрес никогда не появится в поиске без содержимого.
Для Google удаление страницы из индекса обычно решается через noindex, при этом страница должна быть доступна роботу, чтобы он увидел директиву.
Что обычно проверять в файле
- нет ли запрета важных разделов;
- есть ли ссылка на актуальный sitemap;
- не остались ли временные ограничения после разработки;
- корректно ли добавлены Clean-param для Яндекса;
- не закрыт ли путь, где поисковику нужно увидеть canonical или noindex.
Robots.txt и noindex - разные инструменты
| Задача | Инструмент |
|---|---|
| Не обходить путь | robots.txt |
| Не хранить страницу в индексе | noindex в HTML или HTTP-заголовке |
| Объединить похожие URL | canonical или 301 в зависимости от ситуации |
| Игнорировать незначащие GET-параметры для Яндекса | Clean-param |
Почему нельзя закрывать страницу и одновременно ставить noindex
Если Googlebot не может запросить URL из-за robots.txt, он не увидит мета robots с noindex. Google прямо предупреждает об этом в документации по блокировке индексирования.
Поэтому перед выбором способа нужно решить, хотите ли вы запретить обход ресурса или удалить страницу из поиска.
Что можно менять в Tilda без ручного файла
Часть поведения управляется настройками проекта и страниц: запрет индексирования, Clean-param, основной адрес, подключенные модули и другие SEO-параметры. Tilda сама обновляет сформированные файлы после сохранения и публикации.
Почему в robots.txt может появиться sitemap-feeds.xml
Если в проекте подключен модуль Потоки, Tilda может добавлять отдельный sitemap потоков. Если модуль не используется, его лучше отключить в подключаемых модулях, а не пытаться вручную удалить строку из robots.txt.
Как проводить проверку
- Открыть robots.txt в браузере.
- Сопоставить запреты с реальной структурой сайта.
- Открыть sitemap из указанной строки.
- Проверить несколько важных URL инструментом проверки в панелях вебмастеров.
- После правок переопубликовать проект и снова открыть файл.
Когда robots.txt действительно становится проблемой
Чаще всего - после миграции, при массовой генерации служебных URL или когда сторонний код создает маршруты, о которых никто не учитывал. Для небольшого стандартного Tilda-сайта автоматического файла обычно достаточно.
Главное правило
Не оптимизируйте robots.txt ради самого файла. Сначала определите, какие URL должны обходиться и индексироваться, какие являются дублями, а какие вообще не нужны поиску. Только после этого выбирайте директиву.
