Начать бесплатный мониторинг

Генератор robots.txt

Сгенерировали файл? Проверьте robots.txt онлайн - валидатор загрузит файл с сайта и протестирует правила.

Выберите шаблон - поля заполнятся автоматически, их можно изменить вручную.

Поисковые боты
Закрыть от обхода (Disallow)

По одному пути на строку, с ведущим слэшем.

Разрешить обход (Allow)

Формат: параметр&порядок, по одному на строку.

Что такое robots.txt и зачем он нужен

robots.txt - текстовый файл в корне сайта (https://ваш-сайт.ru/robots.txt), который сообщает поисковым роботам правила обхода. Он не заменяет meta robots и не скрывает страницу из выдачи напрямую, но помогает управлять краулингом: закрыть админку, служебные разделы, дубли с параметрами.

  • Роботы запрашивают файл перед обходом - это первый контрольный пункт технического SEO.
  • Через Sitemap: можно указать карту сайта, чтобы ускорить обнаружение страниц.
  • Ошибки в robots.txt могут закрыть важные разделы от индексации - файл стоит проверять регулярно.

Директивы robots.txt

Директива Назначение
User-agent К какому роботу относятся следующие правила (* - все боты, Googlebot, Yandex).
Disallow Запрет обхода пути. Пустое значение Disallow: означает «разрешить всё».
Allow Исключение из Disallow - разрешить конкретный путь внутри закрытого раздела.
Sitemap URL карты сайта. Можно указать несколько строк Sitemap:.
Clean-param Директива Яндекса: параметры URL, которые не меняют содержание страницы (utm_, sort, filter).

Типовые примеры

Ниже - готовые фрагменты для частых задач. Полный файл соберите в форме выше или выберите пресет.

Закрыть админку WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/

Разрешить обход всего сайта

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Интернет-магазин: закрыть корзину и личный кабинет

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account

Sitemap: https://example.com/sitemap.xml

Часто спрашивают

robots.txt - текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно обходить, а какие нет. Роботы запрашивают его перед сканированием страниц.

robots.txt управляет обходом (crawl): робот может не заходить на закрытые URL. Meta robots и X-Robots-Tag задают индексацию конкретной страницы. Файл robots.txt не гарантирует, что страница исчезнет из выдачи, если на неё уже есть ссылки.

Файл должен лежать в корне домена и открываться по адресу https://ваш-сайт.ru/robots.txt. Для поддоменов нужен отдельный файл в каждом поддомене.

Нет. Disallow запрещает обход, но страница может попасть в индекс по внешним ссылкам. Чтобы закрыть страницу от индексации, используйте noindex в meta robots или X-Robots-Tag.

Директива Яндекса: указывает параметры URL, которые не меняют содержание страницы (utm_, sort, filter). Помогает сократить дубли в индексе. Google Clean-param не поддерживает.

Не обязательно, но удобно: роботы быстрее находят карту сайта. Можно указать несколько директив Sitemap для разных карт или языковых версий.

Откройте файл в браузере, проверьте ответ сервера (код 200), затем - в Google Search Console и Яндекс.Вебмастере. Для постоянного контроля подключите мониторинг: Seotools.by уведомит, если файл пропадёт или изменится.

Следующий шаг после настройки robots.txt

Следите за robots.txt и индексацией автоматически

Подключите ежедневный мониторинг Seotools.by: уведомления, если robots.txt пропал, изменился или закрыл важные страницы от обхода.

Включить мониторинг Проверка мета-тегов Все онлайн-инструменты