L’indexation est le processus par lequel un moteur de recherche analyse une page crawlée éligible et peut la stocker pour la restituer dans les résultats de recherche.
Ce que cela signifie
Le crawl découvre une URL ou la récupère ; le rendu en interprète le contenu ; l’indexation est une décision d’éligibilité distincte.
Une réponse 200, une entrée de sitemap ou un crawl ne garantissent pas l’indexation.
Comment l’évaluer
Utilisez l’inspection d’URL et un crawl pour comparer la réponse rendue, les directives robots, la cible de la canonical, les liens internes et la présence dans le sitemap.
Démarche pratique
- Définissez la tâche de l’utilisateur et l’ensemble des pages concernées.
- Utilisez l’inspection d’URL et un crawl pour comparer la réponse rendue, les directives robots, la cible de la canonical, les liens internes et la présence dans le sitemap.
- Choisissez le changement le plus petit possible, et réversible.
- Définissez l’ensemble indexable visé, autorisez la découverte, utilisez des canonical cohérentes et recourez au noindex de façon délibérée.
- Vérifiez de nouveau le résultat rendu, et conservez le périmètre de mesure et la date.
Un exemple concret de décision et de vérification
Voici un exemple d’inspection réel : l’URL d’un filtre de produits répond en 200, figure dans un sitemap et reçoit des liens internes, mais déclare une canonical vers la catégorie parente. La bonne conclusion n’est pas « le filtre est cassé ». Il faut d’abord décider si la vue filtrée mérite son propre document indexable : elle doit répondre à un besoin de recherche distinct, disposer d’un contenu ou d’un inventaire suffisamment utile et avoir une URL canonique stable. Sinon, la catégorie parente peut être le représentant voulu.
Travaillez avec une matrice d’indexation explicite. Pour chaque classe d’URL, notez le chemin de découverte, le statut HTTP après redirections, l’accessibilité pour les robots, l’état noindex, la cible de la canonical, la présence dans le sitemap et l’état d’indexation attendu. La matrice rend visibles les contrôles contradictoires : une page en noindex bloquée dans robots.txt ne peut pas être traitée de façon fiable, car le crawler ne peut pas lire la directive. La documentation de Google est explicite sur cette dépendance.
Vérifiez en deux passes. Crawlez le site rendu pour tester les contrôles à grande échelle, puis inspectez des URL types dans les outils du moteur de recherche pour voir ce qu’il signale. Conservez la date d’inspection et l’URL exacte. L’indexation peut prendre du temps, et les moteurs choisissent les canonical à partir de plusieurs signaux : une mise en œuvre peut donc être correcte avant que le résultat n’apparaisse dans tous les rapports.
Limites et erreurs fréquentes
Bloquer une URL dans robots.txt ne suffit pas à contrôler l’indexation.