Un crawl est un instantané borné
Un crawler montre ce que sa configuration lui permet de demander, à un moment donné. Les URL de départ, le rendu JavaScript, les limites, le user-agent, les cookies et les exclusions déterminent le jeu de données.
Il peut repérer une chaîne de redirections ou un title manquant, mais il ne peut pas prouver l’indexation, les conversions ni une cause algorithmique.
Configurer le crawl
Définissez le périmètre avant d’appuyer sur Démarrer : hôte canonique, limite de crawl, mode de rendu, débit et routes exclues. Conservez la configuration avec l’export.
- Définissez le périmètre.
- Choisissez le rendu.
- Limitez le débit.
- Laissez le crawl se terminer.
- Consignez les URL en échec ou ignorées.
Examiner les constats
Ouvrez les constats représentatifs dans un navigateur et inspectez les en-têtes de réponse avant de préconiser une correction. Comparez les URL du crawl avec le sitemap ou la Search Console uniquement après avoir normalisé les redirections et les variantes d’URL.
| Constat | Vérifier en direct | Ne pas en déduire |
|---|---|---|
| Chaîne 3xx | Réponse finale et liens | Montant d’une perte de classement |
| Conflit de balises canonical | Balise rendue et cible | État d’indexation |
| Page orpheline probable | Crawl comparé à l’inventaire | Qu’une URL sans correspondance soit défectueuse |
Erreurs courantes
Un export brut n’est pas un plan de mise en œuvre. Le mode JavaScript, l’authentification et la normalisation des URL peuvent tous modifier le résultat.