Что означает Googlebot
Googlebot — краулер, а не имитация посетителя, которая гарантирует индексацию каждого URL. Google документирует мобильный и десктопный варианты Googlebot, но многие сайты оцениваются в первую очередь мобильным краулером. Обнаружение, доступность для сканирования, статус ответа, рендеринг и отбор для индекса связаны между собой, но это разные этапы.
Правило решения и доказательства
Управляйте тем, что краулер может получить, через правила доступа и robots. Индексацию контролируйте директивами индексации и политикой контента. Sitemap — подсказка для обнаружения, а не команда на индексацию. Строка user-agent сама по себе не доказывает, что запрос пришёл от Google.
Практический порядок работы
User-agent: Googlebot
Disallow: /private/
# Index control is separate: use noindex on a crawlable page when appropriate.Обнаружение Googlebot обычно начинается с ссылок, доступных для сканирования, а sitemap дают дополнительный список URL. JavaScript-навигация без обычных ссылок с href, страницы, доступные только после входа, и заблокированные ресурсы могут помешать Google увидеть тот же путь или отрисованный контент, который видит пользователь в браузере.
- Отдельно определите наборы URL, которые должны быть публичными, доступными для сканирования и индексируемыми.
- Проверьте правила robots, HTTP-статус, канонические теги и барьеры входа для типичных страниц.
- Обеспечьте согласованные внутренние ссылки и sitemap с предпочтительными индексируемыми URL.
- Проверяйте подозрительный трафик краулеров по документированному Google методу верификации, а не доверяйте заголовку.
- Используйте Search Console и логи как дополняющие данные, сохраняя даты и охват.
Проверка и типичные ошибки
Фиксируйте, какие URL проверены, user-agent или подтверждённый источник там, где это применимо, статус, результат robots и зависимости рендеринга. Недоступные данные помечайте как недоступные, а не выводите из них успешное сканирование.