Это не поисковый краулер. Так сервис обращается к вашему сайту при аудите и проверках в интересах владельца, который подключил мониторинг в seotools.by.
Запросы с идентификатором SeoTools_By выполняет сервис seotools.by для проверки доступности страниц, метаданных, скорости и других параметров по расписанию и настройкам пользователя. Это инструмент владельца сайта, а не обход интернета ради индексации.
В строке User-Agent указан продуктовый токен SeoTools_By и ссылка на эту страницу - по аналогии с тем, как поисковые системы указывают URL справки о своих роботах.
Ниже - полные строки User-Agent для профилей «SeoTools_By» и «SeoTools_By (mobile)», как в настройках сайта:
Mozilla/5.0 (compatible; SeoTools_By; +https://seotools.by/bot)Mozilla/5.0 (Linux; Android 13; Mobile) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Mobile Safari/537.36 (compatible; SeoTools_By; +https://seotools.by/bot)Профиль User-Agent для Go-аудита задаётся в карточке сайта: поле «Профиль User-Agent для аудита». От него зависят все HTTP-запросы при проверках.
Если вы настраиваете правила для роботов, ориентируйтесь на токен продукта в строке User-Agent - SeoTools_By. Точное сопоставление с записями в robots.txt зависит от вашего сервера и парсера; при сомнениях проверьте фактические запросы в логах.
Он не сканирует произвольные сайты в интернете. Обращения идут к тем URL, которые пользователь добавил в seotools.by и для которых включены проверки.
Общие вопросы по сервису - на странице контактов. Клиентам удобнее написать в поддержку из личного кабинета.