У мета-тегов разные задачи
Мета-теги — машиночитаемые HTML-элементы в head страницы. Одни описывают страницу, другие направляют роботов, третьи задают данные для превью в соцсетях. Выбирайте их по функции: директива robots управляет правом на индексацию, meta description может использоваться как сниппет в выдаче, а метаданные соцсетей отвечают за превью ссылки. Ни один из них не превратит тонкий или недоступный контент в полезный результат поиска.
Элемент title связан с мета-тегами, но сам мета-тегом не является. Поисковые системы могут формировать заголовки ссылок из нескольких видимых и структурированных сигналов, поэтому title и заголовок должны соответствовать странице, а не механически повторять одну и ту же фразу. Meta description — подсказка для сниппета: Google может взять другой видимый текст, если он точнее подходит к запросу.
Директивы robots и сниппеты
| Элемент | Основная функция | Проверка |
|---|---|---|
| meta robots noindex | Сообщает роботам, что HTML-страницу не нужно индексировать | Тег есть в HTML, который получает робот, и страница доступна для сканирования |
| X-Robots-Tag | Передаёт директиву robots в HTTP-заголовках | Заголовок возвращается для нужного URL |
| meta description | Предлагает текст-описание страницы | Он точно отражает видимый контент |
| Open Graph metadata | Задаёт превью для соцсетей | Отладчик соцсетей видит итоговые значения канонической страницы |
Для PDF или изображения часто применим X-Robots-Tag, потому что у них нет HTML head. Для HTML-страницы директивы meta robots и заголовков не должны противоречить друг другу. Страница, закрытая в robots.txt, может не сканироваться, и робот не увидит правило noindex. Поэтому блокировка и деиндексация — два разных решения.
Проверка ответа
- Загрузите канонический URL и проверьте и HTML, и заголовки ответа.
- Сверьте title, description, canonical и robots с назначением видимой страницы.
- Проверьте альтернативные хосты, варианты со слэшем в конце и URL с фильтрами на противоречащие директивы.
- Используйте URL Inspection как дополнительное подтверждение от поискового робота, а не как единственную проверку реализации.
- Перепроверьте после изменений кеша или выкладки: шаблоны могут перезаписать значения на уровне страницы.
Пример: пагинированная категория может иметь полезные title и description для текущих товаров, но не должна наследовать noindex из шаблона фильтра. Перед изменением тега сравните фактический ответ, цель canonical и наличие в карте сайта.
Противоречивые сигналы
Типичные дефекты: страница с кодом 200 и текстом ошибки, canonical на URL с редиректом, noindex-страница в карте сайта и общий description, скопированный на сотни страниц. Решение не в добавлении тегов, а в одном намеренном состоянии: HTTP-ответ, видимый контент, canonical, директива robots, внутренние ссылки и карта сайта должны совпадать.