Une directive meta robots exprime des décisions comme noindex, nofollow ou les contrôles de snippet. Elle se distingue du robots.txt, qui limite le crawl, et de la balise canonical, qui désigne l’URL en double à privilégier.
Mise en œuvre concrète
Définissez d’abord la politique d’indexation : les URL publiques, les URL accessibles mais exclues et le traitement des doublons. Appliquez une seule directive cohérente via le CMS ou le template, puis vérifiez-la sur la réponse finale. Utilisez X-Robots-Tag pour les fichiers non HTML, comme les PDF.
Ce qu’il faut vérifier
Inspectez le balisage rendu, les en-têtes de réponse et l’accès autorisé au crawl. Vérifiez que la directive se trouve sur la variante canonique voulue, et non sur une navigation indispensable ou sur des URL du sitemap. Revérifiez après déploiement, car le cache et les conditions du template peuvent modifier le résultat.
Erreurs fréquentes
Ne bloquez pas une URL dans le robots.txt en pensant que la directive noindex de sa balise meta sera vue. N’utilisez pas nofollow comme politique générale de maillage interne.