Разбирайте логи доступа Apache, Nginx и IIS: какие боты куда ходят, какие коды ответа они получают и какая доля их запросов заканчивается ошибками. По желанию проверьте, что бот настоящий, через forward-confirmed reverse DNS.
log-analyze читает один файл лога доступа, обычный или gzip, и определяет формат по первым строкам. Запросы группируются по семейству ботов. Отчёт показывает хиты, байты, уникальные IP, коды ответа и посещённые разделы. Результаты относятся к прочитанной части лога, а не ко всему сайту.
Один user agent ничего не доказывает. С флагом --verify-bots SpiderHead проверяет, что IP разрешается в официальное имя хоста и что это имя разрешается обратно в тот же IP. Каждому IP ставится вердикт: verified (подтверждён), fake (поддельный) или unchecked (не проверен). Если на вашей машине заблокирован DNS, результат будет «недоступно», а не «поддельный».
Для каждого семейства ботов отчёт отмечает, когда больше 10% запросов получают ответы 4xx или 5xx. Чтобы сравнить визиты ботов со сканированием, импортируйте лог в проект командой logs-import. Затем logs-join выводит URL из скана, которые боты не запрашивали, запрошенные ими URL, которых нет в скане, ответы с ошибками и неиндексируемые URL, которые посещают боты.
Передайте один лог доступа Apache, Nginx или IIS W3C, обычный или сжатый gzip. Формат определяется по первым строкам.
Хиты, байты, уникальные IP, коды ответа и посещённые разделы по каждому семейству ботов: от Googlebot и Bingbot до ИИ-краулеров и SEO-инструментов.
С флагом --verify-bots каждый IP бота проходит проверку forward-confirmed reverse DNS: verified, fake или unchecked. Один user agent никогда не считается доказательством.
seohead log-analyze --path ./access.log --verify-botsСначала установите: руководство по установке. Каждая команда работает и как MCP-инструмент для ИИ-агентов.