Sens et périmètre
Le budget de crawl est une étiquette pratique désignant le volume de crawl qu’un moteur de recherche accepte et peut consacrer à un site. Google décrit la demande de crawl et la capacité de crawl comme des éléments importants du processus. Le sujet compte surtout pour les sites volumineux ou fréquemment modifiés, où les URL dupliquées, les erreurs et une découverte interne faible peuvent faire concurrence aux pages qui doivent être crawlées de nouveau.
Comment l’inspecter
Partez des populations d’URL, et non d’un quota universel de crawl. Comparez l’inventaire canonique des pages indexables aux URL relevées dans les logs, ou dans les rapports de Search Console lorsque ces données sont disponibles. Recherchez les combinaisons de paramètres, les redirections, les erreurs soft 404, les chemins de pagination pauvres en contenu et les pages orphelines. Un faible nombre de crawls ne constitue pas en soi un problème si l’ensemble important est déjà découvert et actualisé.
- Définissez l’ensemble des URL indexables préférées, et séparez-le des URL utilitaires utiles mais non indexables.
- Crawlez des gabarits représentatifs pour repérer les motifs de doublons, les chaînes de redirections, les erreurs et les liens non canoniques.
- Rendez les pages importantes accessibles par des liens internes standard et par un sitemap à jour.
- Réduisez la génération accidentelle d’URL avant de demander une capacité de crawl supplémentaire.
- Revérifiez les logs ou les rapports de recherche après les modifications, et indiquez comme indisponibles les données absentes.
Décisions pratiques
Donnez la priorité à la qualité des URL et à la fiabilité du service. Consolidez les routes dupliquées, corrigez les chemins internes cassés et rendez les pages canoniques directement accessibles. Un sitemap déclare les pages préférées ; ce n’est pas une demande qui garantit le crawl. Les modifications doivent être déployées par étapes et mesurées, car des règles de blocage trop larges peuvent masquer des pages qui doivent encore être découvertes.
Limites et erreurs
Le budget de crawl n’est pas un bouton qu’on règle pour les petits sites, et il ne remplace ni un contenu utile ni l’indexabilité. Ne bloquez pas une URL au motif qu’elle semble peu importante sans vérifier si elle participe au rendu, à la navigation ou à la découverte des canonical. Un serveur plus rapide peut améliorer la capacité de crawl, mais il ne rend pas pour autant chaque URL générée digne d’être crawlée.