Processus par lequel le crawler d’un moteur de recherche découvre et demande des URL afin de collecter contenus et signaux ; le crawl se distingue de l’indexation, du positionnement et des rapports.
La décision et ses limites
Le crawl est l’étape de récupération au cours de laquelle un moteur découvre des URL grâce aux liens, aux sitemaps et à d’autres signaux, puis les demande. Une récupération réussie ne signifie pas que la page sera indexée, affichée ou positionnée. À l’inverse, une URL indexée peut ne pas être crawlée de nouveau tout de suite après une modification. Le travail exploitable consiste à rendre les URL importantes découvrables, accessibles, bien reliées par le maillage interne, et cohérentes avec la politique de canonical et de contrôle de l’indexation.
Ce qu’il faut contrôler
Définissez un ensemble d’URL avant de crawler : modèles de pages, répertoires importants, sitemaps et anciennes routes connues. Relevez le code de réponse, l’URL finale, la canonical, les directives des robots, la disponibilité du contenu après rendu et la profondeur des liens. Comparez le résultat du crawl avec les données du sitemap et de Google Search Console sans considérer leurs populations comme interchangeables. Signalez explicitement les URL injoignables ou non mesurées.
Une mise en œuvre pratique
Donnez aux pages importantes des liens HTML classiques depuis les hubs pertinents, utilisez le sitemap comme déclaration des URL finales indexables, et gardez les règles du robots.txt alignées sur la politique de crawl souhaitée. Corrigez les erreurs de réponse et les chaînes de redirections avant de demander un nouveau crawl. Après une modification, relancez le même crawl borné et examinez les indices serveur ou Search Console sur l’échantillon défini, plutôt que de conclure à l’échelle du site à partir d’une seule URL.
Erreurs et limites de la mesure
La confusion courante consiste à affirmer que le crawl a provoqué le positionnement, ou qu’un blocage dans le robots.txt est une solution d’indexation. Crawl, indexation et positionnement sont des étapes distinctes, avec des preuves différentes. Ne qualifiez pas une réponse 200 de réussite tant que l’URL finale, la canonical et le contenu visible de la page n’ont pas aussi été contrôlés.
Exemple de crawl commenté. Lorsqu’une nouvelle catégorie est mise en ligne, listez son URL canonique, la réponse attendue, le lien depuis le hub parent, l’inclusion dans le sitemap, la politique du robots.txt et l’exigence de rendu. Crawlez le parent et la catégorie avec un user-agent défini et un mode de rendu précis, puis comparez l’URL collectée à l’état attendu. Si le crawler rencontre une redirection, une ressource bloquée ou une canonical différente, examinez cette situation au lieu de considérer la catégorie comme crawlée. Crawler une URL ne prouve pas qu’une famille de modèles entière est découvrable.
Critères de contrôle. Un enregistrement de crawl utile précise l’ensemble de départ, la date, la gestion des réponses, les hypothèses de rendu, les limites, les échecs et la politique de normalisation des URL. Pour les URL importantes, contrôlez le statut, la chaîne de redirections, l’URL finale, la canonical, les directives d’indexation, la source du lien et la présence du contenu essentiel après rendu. Comparez prudemment le crawl avec les entrées du sitemap et la couverture Google Search Console, car ils répondent à des questions différentes et peuvent utiliser des horodatages différents. Gardez visibles les populations non appariées.
Erreurs courantes. N’utilisez pas le robots.txt pour masquer une URL en espérant qu’il transmette une règle noindex. Ne prenez pas une réponse 200 pour une cible de crawl valide si elle comporte une canonical incorrecte, un corps de page rendu pauvre ou des ressources en redirection. Évitez d’affirmer qu’un robot a « trouvé toutes les pages » sans périmètre documenté. La découverte, la récupération, l’indexation et le positionnement doivent rester séparés dans le rapport.