Ce que désigne Googlebot
Googlebot est un crawler, et non une simulation de visiteur qui garantit l’indexation de chaque URL. Google documente des variantes mobile et desktop de Googlebot, alors que de nombreux sites sont évalués principalement avec le crawler mobile. La découverte, la crawlabilité, le code de statut de réponse, le rendu et la sélection pour l’index sont des étapes liées mais distinctes.
Règle de décision et preuves
Contrôlez ce qu’un crawler peut récupérer avec les règles d’accès et de robots ; contrôlez l’indexation avec les directives d’indexation et la politique de contenu. Un sitemap est un indice de découverte, non une commande d’indexation, et une chaîne user-agent seule ne prouve pas qu’une requête vient de Google.
Démarche pratique
User-agent: Googlebot
Disallow: /private/
# Index control is separate: use noindex on a crawlable page when appropriate.La découverte par Googlebot commence généralement par des liens crawlables, un sitemap fournissant une liste d’URL complémentaire. La navigation en JavaScript sans cibles de lien ordinaires, les pages réservées aux utilisateurs connectés et les ressources bloquées peuvent empêcher Google de voir le même chemin ou le même contenu rendu qu’un internaute dans son navigateur.
- Définissez séparément les ensembles d’URL publiques, crawlables et indexables que vous souhaitez.
- Examinez les règles de robots, les codes HTTP, les balises canonical et les barrières de connexion sur des URL types.
- Fournissez des liens internes cohérents et un sitemap des URL indexables à privilégier.
- Vérifiez le trafic de crawl suspect avec la méthode de vérification documentée par Google, plutôt que de faire confiance à un en-tête de requête.
- Utilisez Search Console et les logs comme preuves complémentaires, en conservant les dates et le périmètre.
Vérification et erreurs courantes
Consignez les URL testées, le user-agent ou la source vérifiée le cas échéant, le statut, le résultat des robots et les ressources dépendantes du rendu. Indiquez qu’une preuve est indisponible plutôt que de déduire un crawl réussi.