Что означает анализ лог-файлов
Логи фиксируют запросы, которые дошли до сервера. Они не показывают напрямую индексацию, позиции и каждое решение о рендеринге. Учитывайте, как определяются боты и сколько хранятся логи.
Анализ лог-файлов изучает записи запросов к серверу и показывает, как краулеры реально обращаются к URL: наблюдаемые пути сканирования, коды ответа и бесполезные запросы в доступном окне логов.
Практический порядок проверки
Возьмите ограниченный период логов, разберите временные метки, URL, коды статуса, user agent и объём в байтах. Затем нормализуйте параметры строки запроса и отделите трафик проверенных краулеров от обычных запросов.
Что проверить
Сравните паттерны запросов краулеров со списком канонических URL, sitemap, внутренними ссылками и ответами сервера. Перед крупным выводом посмотрите выборку исходных записей.
Ограничения и частые ошибки
Не делайте вывод, что URL, который краулер не запрашивал, выпал из индекса, и не принимайте подделанный user agent за поискового краулера.
Надёжный порядок работы с логами начинается с границ доступа и приватности. Ограничьте поля теми, что нужны для анализа сканирования, задайте период и храните агрегированный результат, а не сырые данные посетителей. Разберите данные в таблицу, которую можно воспроизвести, и исследуйте только те паттерны, которые можно сравнить с известным списком URL. Например, всплеск по URL с параметром — это вопрос обнаружения и контроля URL, а не доказательство проблемы с краулинговым бюджетом.
Сохраните исходный запрос
Исходный URL запроса и статус храните как неизменяемое доказательство. Создавайте производные поля группировки для параметров, путей, ботов и классов ответов. Также определите, откуда логи: с edge/CDN или с origin. Отсутствие запроса к origin может означать работу кэша, а не то, что краулер не запрашивал страницу.