Fonctionnement et décision
Un crawler de recherche découvre et demande des URL en suivant les liens, les sitemaps et des connaissances acquises lors de visites précédentes. La récupération n’est qu’une étape précoce : le moteur peut ensuite rendre l’URL, en établir l’URL canonique, l’indexer ou l’ignorer.
Les URL publiques importantes ont besoin de liens internes directs, de réponses prévisibles et d’une politique d’indexation cohérente. Les règles du robots.txt encadrent le crawl des robots qui les respectent, mais une URL bloquée peut rester connue grâce à des liens externes.
Ce que vous pouvez contrôler
Le crawl ne garantit pas l’indexation, et l’indexation ne garantit pas une position dans les résultats.
Démarche pratique
- Définissez l’ensemble des pages publiques indexables.
- Vérifiez l’identité du crawler avant de réagir à des affirmations propres à un robot.
- Contrôlez ensemble les signaux du robots.txt, de la réponse, du rendu et de la balise canonical.
- Exposez les URL préférées par des liens et par un sitemap à jour.
FAQ
La visite d’un crawler prouve-t-elle l’indexation ?
Non. La récupération, le traitement et la prise en compte d’une page dans la recherche sont trois étapes distinctes.
Peut-on se fier au nom de crawler indiqué dans l’en-tête user-agent ?
Pas à lui seul. Les chaînes user-agent peuvent être imitées : pour une analyse de logs importante, utilisez la méthode de vérification fournie par le moteur de recherche.