X-Robots-Tag est un en-tête de réponse HTTP qui transmet aux crawlers des directives d’indexation ou de snippet pour une URL, particulièrement utile lorsque les balises meta HTML ne sont pas disponibles. X-Robots-Tag contrôle le comportement des crawlers concernés au niveau de la réponse HTTP. Il ne remplace pas une politique claire concernant les URL, la balise canonical et les accès, et robots.txt est un mécanisme de contrôle distinct.
Définition et périmètre
X-Robots-Tag contrôle le comportement des crawlers concernés au niveau de la réponse HTTP ; il ne remplace pas une politique claire concernant les URL, la balise canonical et les accès, et robots.txt est un mécanisme de contrôle distinct.
Démarche pratique
- Décidez si l’URL doit être indexée, affichée avec un snippet, suivie, ou exclue des résultats d’un crawler précis.
- Placez la directive sur la réponse finale prévue, et pas seulement sur une redirection intermédiaire.
- Inspectez les en-têtes de réponse avec une requête qui suit le parcours public, puis notez le code de statut final.
- Vérifiez que les directives meta robots HTML et celles des en-têtes ne se contredisent pas.
- Revérifiez après chaque changement de CDN, de cache ou d’application, car les en-têtes peuvent être réécrits.
FAQ
Peut-on utiliser X-Robots-Tag sur des pages HTML ?
Oui. L’en-tête HTTP peut transmettre des directives robots aux pages HTML comme à des fichiers, par exemple des PDF.
Qu’est-ce qui peut empêcher un crawler de voir l’en-tête ?
Un blocage du crawl ou une ressource inaccessible peut empêcher la récupération de la page. Vérifiez la réponse réelle que le crawler est autorisé à récupérer.