X-Robots-Tag

X-Robots-Tag es una cabecera de respuesta HTTP que indica a los rastreadores directivas de indexación o de snippet para una URL; es especialmente útil cuando no se pueden usar las etiquetas meta de HTML. X-Robots-Tag controla el comportamiento de los rastreadores que la respetan en la capa de respuesta HTTP. No sustituye a una política clara de URL, canonical y acceso, y robots.txt es un control distinto.

zoom_in

Definición y límites

X-Robots-Tag controla el comportamiento de los rastreadores que lo respetan, en la capa de respuesta HTTP. No sustituye a una política clara de URL, canonical y acceso, y robots.txt es un control distinto.

Flujo de trabajo práctico

1. Decide si la URL debe indexarse, mostrarse con snippet, seguirse o quedar fuera del conjunto de resultados de un rastreador concreto.
2. Devuelve la directiva en la respuesta final prevista, no solo en una redirección intermedia.
3. Inspecciona las cabeceras con una petición que siga la ruta pública y anota el estado final.
4. Comprueba que las directivas meta robots del HTML y las de la cabecera no entren en conflicto.
5. Vuelve a probarlo tras cambios en la CDN, la caché o la aplicación, porque las cabeceras pueden reescribirse.