Начать бесплатный мониторинг

Проверка robots.txt

Проверим, закрыта ли страница правилами Disallow для выбранного бота.

Результаты появятся здесь после проверки.
1 Загружаем robots.txt…

Как читать robots.txt

robots.txt - текстовый файл в корне сайта (/robots.txt). Роботы запрашивают его перед обходом страниц. Файл состоит из блоков: каждый начинается с User-agent: и содержит правила Allow: и Disallow:.

  • User-agent - для какого робота действуют правила ниже (например, Googlebot, YandexBot или * для всех).
  • Disallow - путь, который робот не должен обходить. Пустой Disallow означает «разрешено всё».
  • Allow - явное разрешение обхода (важно при конфликте с Disallow - побеждает более длинное совпадение).
  • Sitemap - ссылка на карту сайта. Не обязательна, но помогает роботам быстрее находить страницы.

Частые ошибки

  • Закрыли лишнее - Disallow: / блокирует весь сайт. Часто это случайность вместо Disallow: /admin.
  • Забыли Sitemap - без директивы Sitemap роботы дольше находят новые страницы.
  • Путают crawl и index - Disallow не удаляет страницу из выдачи. Для закрытия от индексации нужен noindex.
  • Неверный синтаксис - каждая директива должна быть на отдельной строке в формате Ключ: значение. Комментарии начинаются с #.

Часто спрашивают

Укажите домен - инструмент загрузит файл /robots.txt, разберёт директивы и покажет предупреждения. Опционально добавьте URL страницы и выберите бота, чтобы узнать, закрыта ли страница правилами Disallow.

Disallow в robots.txt запрещает обход страницы роботом. Meta robots noindex запрещает индексацию. Страница с Disallow может попасть в выдачу по внешним ссылкам, если на ней нет noindex.

Не обязательно, но рекомендуется: роботы быстрее находят карту сайта. Валидатор предупредит, если директива Sitemap отсутствует.

Введите домен и URL страницы (полный адрес или путь /раздел/страница). Выберите User-agent - Googlebot, YandexBot, Bingbot или *. Инструмент покажет, какое правило Allow/Disallow применилось.

Это запрет обхода всего сайта для указанного User-agent. Частая ошибка: случайно закрыли весь сайт вместо одного раздела. Проверьте, что путь в Disallow соответствует задумке.

Генератор собирает новый файл по вашим настройкам. Валидатор загружает существующий robots.txt с сайта, проверяет синтаксис и тестирует правила на конкретный URL.

Нет. Disallow ограничивает обход, но не удаляет страницу из индекса. Для закрытия от индексации используйте noindex в meta robots или X-Robots-Tag.

robots.txt меняется - следите за этим

Включите мониторинг robots.txt

Случайное изменение robots.txt может закрыть сайт от обхода. Seotools.by проверяет наличие файла и предупреждает, если страницы попали под Disallow.

Включить мониторинг Генератор robots.txt Все инструменты