6 частых ошибок в robots.txt и как их исправить
Файл robots.txt управляет доступом поисковых роботов к страницам сайта. Неправильная настройка может привести к тому, что важные разделы останутся невидимыми для поисковиков, а технические страницы попадут в индекс. Разберем шесть ошибок, которые встречаются чаще всего, и покажем, как их избежать.
Как работает robots.txt
Файл robots.txt содержит инструкции для поисковых роботов. Робот обращается к нему перед началом обхода сайта и следует указанным правилам. Основные директивы: User-agent определяет, к какому роботу применяется правило, Disallow запрещает доступ к URL или разделам, Allow разрешает доступ к конкретным страницам внутри запрещенной области.
Файл должен находиться в корневой директории сайта и быть доступен по адресу example.com/robots.txt. Поисковые системы периодически обновляют robots.txt. Изменения учитываются после повторного получения файла, а точный срок заранее не гарантируется.
Правила интерпретируются по спецификации конкретного робота. Google при совпадении Allow и Disallow ориентируется на наиболее специфичное правило, а при одинаковой длине выбирает менее ограничивающее. Пути чувствительны к регистру. Поведение других роботов может отличаться.
Ошибка 1: закрыт важный раздел
Самая критичная ошибка - случайное закрытие страниц, которые должны попадать в поиск. Это происходит при использовании слишком широких масок в Disallow.
Пример: директива Disallow: /catalog/ закроет весь каталог товаров. Если нужно запретить только служебные параметры фильтрации, используйте более точные правила: Disallow: /catalog/?filter или Disallow: /catalog/*?sort=.
Перед добавлением запрета проверьте, какие URL попадут под маску. Используйте инструменты тестирования robots.txt в панелях вебмастеров, чтобы убедиться, что важные страницы остаются доступными.
Если раздел уже закрыт по ошибке, удалите или скорректируйте правило и дождитесь повторного обхода. Для ускорения переиндексации можно отправить карту сайта с нужными URL.
Ошибка 2: файл размещен не в корне
Роботы ищут файл robots.txt только в корневой директории домена. Размещение в подпапке или на поддомене не работает для основного сайта.
Неправильно: example.com/admin/robots.txt или example.com/blog/robots.txt. Правильно: example.com/robots.txt.
Для поддоменов создается отдельный файл: blog.example.com/robots.txt управляет только этим поддоменом.
Проверьте доступность файла напрямую в браузере. Если при переходе на example.com/robots.txt отображается ошибка 404, роботы не получают инструкций и обходят сайт без ограничений.
Вебмастера иногда создают файл в CMS или через админ-панель, но он сохраняется не в корне. Убедитесь, что путь указан верно в настройках хостинга или системы управления контентом.
Ошибка 3: перепутаны директивы
Использование Allow вместо Disallow или наоборот меняет логику правил. Директива Allow нужна только для разрешения доступа к конкретным страницам внутри запрещенной области.
Неправильно:
User-agent: *
Allow: /
Disallow: /private/
Правильно:
User-agent: *
Disallow: /private/
Первый вариант избыточен, Allow: / не требуется, так как по умолчанию весь сайт доступен.
Allow применяется для исключений. Например, если закрыта папка /admin/, но нужно разрешить доступ к справке:
Disallow: /admin/
Allow: /admin/help/
Для Google расположение Allow и Disallow внутри группы не определяет приоритет: важна специфичность пути. Для других роботов нужно сверяться с их документацией.
Ошибка 4: robots.txt используют для удаления из поиска
Запись в Disallow не удаляет страницы из индекса и не гарантирует их полное исчезновение из результатов поиска. Директива лишь запрещает роботу обходить URL, но не влияет на уже проиндексированные данные.
Если страница уже в индексе и закрыта через robots.txt, поисковик может продолжать показывать ее в выдаче без описания и сниппета, опираясь на внешние ссылки.
Для удаления из поиска используйте метатег noindex или заголовок X-Robots-Tag: noindex. Эти методы сообщают роботу, что страницу не нужно индексировать.
Важно: если применяете noindex, не закрывайте страницу в robots.txt. Робот должен зайти на нее, чтобы прочитать метатег и исключить из индекса.
Если содержимое не должно быть доступно посторонним, используйте авторизацию. Для окончательно удалённой страницы корректно возвращать 404 или 410. Способ выбирают по реальному состоянию URL, а не только ради изменения выдачи.
Ошибка 5: правила конфликтуют
Противоречивые директивы для одного робота создают неопределенность. Робот применяет наиболее специфичное правило, но результат может не совпадать с ожиданиями.
Пример конфликта:
User-agent: *
Disallow: /category/
Allow: /category/
Такие правила отменяют друг друга. Если цель - разрешить доступ, удалите Disallow. Если запретить - удалите Allow.
Другая ситуация: дублирование блоков для разных роботов без учета приоритета.
User-agent: Googlebot
Disallow: /test/
User-agent: *
Allow: /test/
Гуглбот применит свой блок и запретит /test/, остальные роботы разрешат. Убедитесь, что блок User-agent: * содержит правила по умолчанию, а специфичные роботы настроены отдельно.
Проверяйте файл после добавления каждого правила. Инструменты тестирования покажут, как робот интерпретирует директивы для конкретных URL.
Ошибка 6: изменения не проверяют
Редактирование robots.txt без тестирования приводит к ошибкам синтаксиса или логики. Опечатка в имени директивы или лишний пробел могут сломать правило.
Распространенные синтаксические ошибки:
• Disalow вместо Disallow
• Пробелы внутри пути: Disallow: / admin/
• Отсутствие двоеточия: Disallow /page/
• Использование символов, не поддерживаемых стандартом
После каждого изменения проверяйте файл в инструментах для вебмастеров Google Search Console или Яндекс.Вебмастер. Они покажут ошибки парсинга и дадут протестировать URL.
Сохраните резервную копию рабочей версии перед редактированием. Если новая версия вызвала проблемы, быстро откатите изменения.
Мониторьте индексацию после обновления robots.txt. Резкое падение числа проиндексированных страниц может указывать на случайное закрытие важных разделов.
Как проверить файл перед публикацией
Используйте встроенные инструменты проверки в панелях вебмастеров. Проверьте опубликованный файл и используйте доступные отчёты Google Search Console. В Яндекс.Вебмастере доступен инструмент анализа robots.txt. Интерфейсы сервисов меняются, поэтому ориентируйтесь на актуальные разделы справки.
Проверьте доступность файла по адресу example.com/robots.txt в браузере. Убедитесь, что сервер возвращает код 200 и корректный текстовый формат.
Протестируйте ключевые URL: главную страницу, важные разделы каталога, страницы товаров, статьи блога. Убедитесь, что они не попали под Disallow.
Проверьте технические разделы: админ-панель, страницы фильтров, дубли с параметрами. Они должны быть закрыты, если не предназначены для индексации.
Обратите внимание на регистр символов. Путь /Admin/ отличается от /admin/, правило для одного не сработает для другого.
Используйте онлайн-валидаторы синтаксиса, чтобы выявить опечатки и несоответствия стандарту. После публикации отслеживайте отчеты об ошибках обхода в панелях вебмастеров.
Настройка robots.txt требует внимательности и регулярной проверки. Следуя этим рекомендациям, вы избежите типичных ошибок и обеспечите корректный доступ поисковых роботов к контенту сайта.