Sens et périmètre
Crawl, indexation et classement sont liés, mais ce sont trois étapes distinctes. Un crawler peut demander une URL sans l’indexer ; un document indexé peut apparaître pour certaines requêtes et pas pour d’autres ; la position dans les résultats est déterminée ensuite, pour une requête et un contexte donnés. Attribuer chaque absence à un problème de classement masque le diagnostic réel.
Démarche pratique
Pour une URL importante, vérifiez d’abord qu’elle renvoie le contenu public prévu, qu’elle peut être crawlée, qu’elle ne porte pas de directive noindex, qu’elle utilise la balise canonical voulue et qu’elle est liée depuis un chemin de découverte accessible. La présence dans un sitemap facilite la découverte, mais ne garantit pas l’indexation. Vérifiez si un doublon, une erreur soft ou un état d’indisponibilité explique le résultat.
Points à examiner
Utilisez une URL et une date précises lors de la vérification. Les rapports « Inspection de l’URL » et « Indexation des pages » de Google Search Console apportent des indices utiles sur la vision de Google, tandis qu’un test dans le navigateur et un échantillon de crawl confirment ce que le site sert aujourd’hui. Distinguez un test en direct d’un rapport historique, afin de ne pas prendre d’anciennes données de statut pour une panne de déploiement récente.
Limites et erreurs fréquentes
Ne promettez pas l’indexation parce qu’une URL a été soumise, liée ou présente dans un sitemap. Ne bloquez pas une URL dans robots.txt en espérant qu’une balise noindex sur cette réponse bloquée soit prise en compte. Un résultat utile est une page explicable, techniquement éligible et sans signaux contradictoires.
Diagnostic d’index : une URL à la fois
Utilisez une fiche de suivi par URL plutôt qu’une étiquette générale « non indexée ». Notez l’URL demandée, la réponse finale, la balise canonical, la meta robots et l’en-tête X-Robots-Tag, l’état du contenu, le lien interne source, le statut dans le sitemap et la date d’observation. Cela sépare un défaut d’accessibilité d’une décision sur les doublons ou d’une question de qualité de contenu. Cela évite aussi de compter comme une même panne une URL canonisée vers une autre, un filtre volontairement en noindex et une URL inconnue.
- Récupérez l’URL sans session connectée, puis notez son statut final et le contenu principal rendu.
- Vérifiez que l’URL est autorisée au crawl et que ses règles d’indexation et de canonical ne se contredisent pas.
- Trouvez un chemin interne explorable depuis un hub pertinent, et vérifiez que toute entrée du sitemap utilise la même URL canonique finale.
- Inspectez l’URL dans Search Console si possible, en conservant la date du rapport et le motif indiqué par Google.
- Effectuez une seule réparation ciblée, puis refaites les contrôles en direct et dans les rapports, plutôt que de resoumettre chaque URL plusieurs fois.
Prenons l’exemple d’un filtre de catégorie. S’il n’a ni inventaire distinct ni intention de recherche propre, il peut déclarer une canonical vers la catégorie parente, ou recevoir une directive noindex volontaire. S’il dispose de son propre inventaire éligible et d’un usage utilisateur distinct, il lui faut une URL stable, une canonical cohérente, une découverte interne et un contenu qui le distingue de la catégorie parente. Le bon résultat dépend de la politique choisie : indexer chaque URL générée n’est pas l’objectif.
La vérification doit inclure une petite matrice de routes : une page de contenu classique, une version avec paramètres, une URL retirée et une page exclue volontairement. Cela montre que le système sait distinguer ces états. Google explique que l’indexation suit le crawl et l’analyse : une page accessible peut donc être omise ou regroupée avec un doublon. Dites explicitement cette incertitude, plutôt que d’affirmer qu’un sitemap ou une demande d’indexation garantit la présence dans l’index.
Gardez un relevé de preuves assez étroit pour agir. Un échantillon daté de dix URL importantes, chacune classée selon son statut en direct et sa politique d’indexation, est plus utile qu’un décompte sans étiquette de milliers de pages « exclues ». Reprenez le même échantillon après une mise en production, et n’enquêtez que sur la catégorie qui a changé de façon inattendue.
Lors d’une investigation, conservez l’ancienne observation en plus de la nouvelle. Le motif d’un rapport peut être en retard sur la réponse servie, et une page peut être regroupée comme doublon alors que son récupération actuelle est saine. Comparer dans le temps la même URL, la même politique canonical et le même état du crawler évite de traiter une actualisation tardive du rapport comme un revirement technique inexpliqué.