Индексация — это процесс, в ходе которого поисковая система анализирует подходящую для индексации просканированную страницу и может сохранить её для показа в поисковой выдаче.
Что это значит
Сканирование находит URL или загружает его, рендеринг интерпретирует контент, а индексация — отдельное решение о пригодности страницы.
Ответ 200, запись в карте сайта или факт сканирования не гарантируют индексацию.
Как оценивать
Сравните через проверку URL и сканирование отрисованный ответ, директивы robots, целевой канонический URL, внутренние ссылки и наличие в карте сайта.
Практический порядок работы
- Определите пользовательскую задачу и набор URL, который проверяете.
- Сравните через проверку URL и сканирование отрисованный ответ, директивы robots, целевой канонический URL, внутренние ссылки и наличие в карте сайта.
- Выберите наименьшее обратимое изменение.
- Зафиксируйте, какой набор должен индексироваться, открывайте обнаружение, используйте согласованные канонические URL и применяйте noindex осознанно.
- Перепроверьте результат после рендеринга и сохраните границы замера и дату.
Конкретный пример решения и проверки
Пример из практики: URL фильтра товаров отдаёт 200, есть в карте сайта и на него ведут внутренние ссылки, но канонический тег указывает на родительскую категорию. Из этого не следует, что «фильтр сломан». Сначала решите, заслуживает ли отфильтрованный вид собственного документа для индекса: нужна отдельная поисковая потребность, достаточно полезного контента или ассортимента и стабильный канонический URL. Иначе основной страницей будет родительская категория.
Работайте с явной матрицей индексации. Для каждого класса URL фиксируйте путь обнаружения, HTTP-статус после редиректов, доступность для robots, наличие noindex, канонический URL, наличие в карте сайта и ожидаемое состояние в индексе. Матрица показывает противоречащие друг другу настройки: страница с noindex, закрытая в robots.txt, не может быть надёжно обработана по этой директиве, потому что краулер не может её прочитать. Документация Google прямо описывает эту зависимость.
Проверяйте в два этапа. Сначала просканируйте отрисованный сайт, чтобы проверить настройки на масштабе. Затем проверьте несколько основных URL в инструментах самой поисковой системы и посмотрите, что она сообщает. Сохраняйте дату проверки и точный URL. Индексация может занять время, а поисковые системы выбирают канонические URL по нескольким сигналам. Поэтому реализация может быть верной раньше, чем результат появится во всех отчётах.
Ограничения и частые ошибки
Одна только блокировка в robots.txt не является инструментом управления индексацией.