Ce que signifie l'analyse de logs
Les logs recensent les requêtes parvenues au serveur ; ils n'indiquent pas directement l'indexation, le positionnement ni chaque décision de rendu. Il faut tenir compte de la façon dont les bots sont identifiés et des durées de conservation des logs.
L'analyse de logs examine les enregistrements de requêtes du serveur pour voir comment les crawlers accèdent réellement aux URL. Elle révèle les parcours de crawl observés, les codes de réponse et les requêtes inutiles, dans la fenêtre de logs disponible.
Une méthode d'inspection pratique
Obtenez une période de logs délimitée, puis analysez les horodatages, les URL, les codes de statut, les user-agents et les volumes d'octets. Normalisez ensuite les paramètres de requête, et séparez le trafic des crawlers vérifiés du trafic ordinaire.
Ce qu'il faut vérifier
Comparez les schémas de requêtes des crawlers à l'inventaire des URL canoniques, aux sitemaps, aux liens internes et aux réponses du serveur. Examinez un échantillon des entrées brutes avant de tirer une conclusion d'envergure.
Limites et erreurs courantes
Ne déduisez pas qu'une URL non explorée est désindexée, et ne prenez pas un user-agent usurpé pour un crawler de moteur de recherche.
Une méthode d'analyse de logs fiable commence par les limites d'accès et de confidentialité. Restreignez les champs à ceux qui servent à l'analyse du crawl, définissez la période, et conservez un résultat agrégé plutôt que de partager des données brutes de visiteurs. Analysez ensuite les données dans un tableau reproductible, et n'approfondissez que les tendances comparables à un inventaire d'URL connu. Un pic de requêtes sur une URL à paramètres, par exemple, est une question de découverte et de maîtrise des URL. Ce n'est pas encore une preuve de défaut de budget de crawl.
Conserver la requête d'origine
Conservez l'URL brute de la requête et son statut comme preuve immuable. Créez des champs de regroupement dérivés pour les paramètres, les chemins, les bots et les classes de réponse. Identifiez aussi si les logs proviennent d'un edge/CDN ou de l'origine : l'absence de requête à l'origine peut signifier une gestion par le cache, et non qu'un crawler n'a pas demandé la page.