X-Robots-Tag — это заголовок HTTP-ответа, который передаёт краулерам директивы индексации или сниппета для URL. Особенно полезен там, где HTML-теги meta недоступны. X-Robots-Tag управляет поведением подходящих краулеров на уровне HTTP-ответа. Он не заменяет продуманную политику по URL, каноническим адресам и доступу, а robots.txt решает другую задачу.
Определение и границы применения
X-Robots-Tag управляет поведением подходящих краулеров на уровне HTTP-ответа. Он не заменяет продуманную политику по URL, каноническим адресам и доступу. robots.txt решает другую задачу.
Порядок работы на практике
- Решите, должен ли URL индексироваться, показываться со сниппетом, учитываться при переходе по ссылкам или исключаться из выдачи конкретного краулера.
- Отдавайте директиву в итоговом ответе, а не только в промежуточном редиректе.
- Проверяйте заголовки запросом, который следует публичному маршруту, и фиксируйте итоговый статус.
- Убедитесь, что метатег robots в HTML и директивы в заголовке не противоречат друг другу.
- Перепроверяйте после изменений CDN, кэша или приложения: заголовки могут переписываться.
FAQ
Можно ли использовать X-Robots-Tag на HTML-страницах?
Да. HTTP-заголовок может применять директивы роботов и к HTML, и к файлам, например к PDF.
Что может помешать краулеру увидеть заголовок?
Блокировка сканирования или недоступный ресурс могут не дать краулеру получить ответ. Проверяйте фактический ответ, который краулеру разрешено запросить.