Процесс, в котором краулер поисковой системы находит URL и запрашивает их, чтобы собрать контент и сигналы. Сканирование отделено от индексации, ранжирования и отчётности.
Решение и его границы
Сканирование — это этап получения, на котором поисковая система находит URL по ссылкам, картам сайта и другим сигналам и запрашивает их. Успешный запрос ещё не значит, что страница попадёт в индекс, появится в выдаче или получит позицию. И наоборот: проиндексированный URL может не запроситься сразу после изменения. Практическая задача — сделать важные URL доступными для обнаружения и запроса, связать их внутренними ссылками и привести в соответствие с политикой канонических URL и управления индексацией.
Что проверять
Перед сканированием задайте набор URL: шаблоны страниц, важные каталоги, карты сайта и известные старые маршруты. Фиксируйте код ответа, финальный URL, канонический URL, директивы robots, доступность контента после рендеринга и глубину по ссылкам. Сопоставляйте результаты сканирования с данными карты сайта и Google Search Console, но не считайте их одной и той же выборкой. Непроверенные или недоступные URL отмечайте явно.
Практический порядок внедрения
Ставьте важным страницам обычные HTML-ссылки с релевантных хабов, используйте карту сайта как перечень финальных индексируемых URL и держите правила robots в соответствии с нужной политикой сканирования. Исправьте ошибки ответов и цепочки редиректов до того, как просить повторное сканирование. После изменения повторите тот же ограниченный скан и проверьте серверные или поисковые данные по заданной выборке, а не делайте вывод по всему сайту из одного URL.
Ошибки и ограничения измерений
Частая путаница — считать, что сканирование повлияло на ранжирование, или что блокировка через robots.txt решает задачу индексации. Сканирование, индексация и ранжирование — разные этапы с разными доказательствами. Не считайте ответ 200 успешной проверкой, пока не проверены финальный URL, канонический URL и видимый контент страницы.
Разбор на примере. Когда запускается новая категория, выпишите её канонический URL, ожидаемый ответ, ссылку с родительского хаба, наличие в карте сайта, политику robots и требования к рендерингу. Просканируйте родительскую страницу и категорию с заданным user-agent и режимом рендеринга, затем сравните собранный URL с целевым состоянием. Если краулер находит редирект, заблокированный ресурс или другой канонический URL, разберитесь в причине, а не пишите, что категория просканирована. Один URL не покажет, что все страницы шаблона доступны для обнаружения.
Критерии проверки. Полезная запись о сканировании фиксирует стартовый набор, дату, обработку ответов, допущения о рендеринге, ограничения, сбои и правила нормализации URL. Для важных URL проверьте статус, цепочку редиректов, финальный URL, канонический URL, директивы индексации, источник ссылки и то, отрендерился ли основной контент. Сравнивайте сканирование с записями карты сайта и данными отчёта о покрытии в Search Console осторожно: они отвечают на разные вопросы и могут использовать разные даты. Несовпавшие группы URL оставляйте в отчёте видимыми.
Частые ошибки. Не используйте robots.txt, чтобы скрыть URL, и при этом не ждите, что он передаст правило noindex. Не принимайте ответ 200 за корректную цель сканирования, если у страницы неверный канонический URL, тонкое тело после рендеринга или ресурсы с редиректом. Не пишите, что краулер «нашёл все страницы», без задокументированного охвата. Обнаружение, получение, индексация и ранжирование в отчёте должны оставаться раздельными.