Ce que signifie Noindex
Noindex gère la présence de la page dans l’index, et non le contrôle d’accès. Un contenu sensible nécessite une authentification ou une suppression ; robots.txt est une consigne d’exploration et peut empêcher un robot de lire une balise meta noindex.
Noindex est une directive robots qui demande aux robots des moteurs de recherche conformes de ne pas afficher une page ou une ressource dans les résultats, tout en laissant l’URL accessible aux visiteurs et aux liens.
Méthode d’inspection pratique
Utilisez meta robots pour les pages HTML et X-Robots-Tag pour les ressources non HTML. Faites en sorte que la directive reste visible pour le robot et que l’état d’indexation voulu pour la page soit explicite.
Ce qu’il faut vérifier
Récupérez le HTML après rendu et les en-têtes de réponse, vérifiez la directive, contrôlez l’URL dans l’Inspection d’URL, puis laissez le temps d’un nouveau crawl avant de juger de la suppression.
Limites et erreurs courantes
Ne bloquez pas une URL dans robots.txt en espérant que Google lise de façon fiable sa directive noindex, et n’utilisez pas noindex comme outil de confidentialité.
Avant d’ajouter noindex, précisez la raison, côté métier comme côté utilisateur, de garder l’URL accessible mais absente de la recherche. Les cas courants sont une page de résultats internes, un état de campagne temporaire ou un environnement de préproduction. Choisissez ensuite le bon mode de mise en œuvre, ajoutez un contrôle de non-régression et notez la condition de retour en arrière. Pour la préproduction, traitez noindex comme un point de contrôle parmi d’autres, avec les contrôles d’accès et les vérifications de mise en production, et jamais comme la seule protection d’un contenu confidentiel.
Comment la directive est interprétée
Utilisez soit <meta name="robots" content="noindex"> dans un document HTML, soit X-Robots-Tag: noindex dans une réponse HTTP ; l’en-tête permet aussi de gérer les ressources non HTML. Ne bloquez pas une URL dans robots.txt si Google doit l’explorer pour lire la directive noindex.