X-Robots-Tag

O X-Robots-Tag é um cabeçalho de resposta HTTP que envia diretivas de indexação ou de snippet para rastreadores em uma URL. Ele é especialmente útil quando não há como usar meta tags HTML. O X-Robots-Tag controla o comportamento dos rastreadores que o processam, no nível da resposta HTTP. Ele não substitui uma política clara de URL, canonical e acesso, e o robots.txt é um controle diferente.

zoom_in

Definição e limites

O X-Robots-Tag controla o comportamento dos rastreadores que o processam, no nível da resposta HTTP. Ele não substitui uma política clara de URL, canonical e acesso, e o robots.txt é um controle diferente.

Fluxo prático

1. Defina se a URL deve ser indexada, exibida com snippet, ter os links seguidos ou ficar fora do conjunto de resultados de um rastreador específico.
2. Envie a diretiva na resposta final pretendida, e não apenas em um redirecionamento intermediário.
3. Inspecione os cabeçalhos com uma requisição que siga a rota pública e registre o status final.
4. Confira se as diretivas da meta tag robots no HTML e as do cabeçalho não entram em conflito.
5. Teste de novo após mudanças em CDN, cache ou na aplicação, porque os cabeçalhos podem ser reescritos.