Analyse des fichiers de logs serveur pour le SEO : guide complet

Pourquoi analyser les fichiers de logs

Google Search Console n'affiche que des données agrégées, avec un délai de trois jours. Screaming Frog simule un navigateur, et non Googlebot. Les fichiers de logs du serveur web sont la seule source qui enregistre chaque requête réelle d'un robot de moteur de recherche : l'horodatage précis, l'URL, le code de statut de la réponse et l'adresse IP du crawler.

zoom_in

L'analyse des logs répond à des questions qu'aucun autre outil ne permet de résoudre : quelles pages Googlebot explore chaque heure et lesquelles il n'a pas visitées depuis des mois ; où le crawler rencontre des 404 et des 500 ; s'il existe des boucles de redirection infinies ; si le budget est gaspillé sur des doublons paramétriques ou sur des pages derrière un mur de connexion. Ces données sont exactement ce qu'il faut pour piloter en connaissance de cause la gestion du budget de crawl.

Ce que l'analyse des logs apporte

Comment accéder aux fichiers de logs

Le chemin vers vos logs dépend du serveur web et de l'hébergeur. Sur la plupart des VPS et des serveurs dédiés, les fichiers de logs sont accessibles directement en SSH. Pour l'analyse, il faut généralement disposer des access logs des 30 à 90 derniers jours : cette période est assez longue pour révéler les schémas saisonniers, tout en restant à jour.

# Nginx: view the last 1000 lines of the access log
tail -n 1000 /var/log/nginx/access.log

# Size of the current log file
du -sh /var/log/nginx/access.log

# Decompress and merge rotated logs
zcat /var/log/nginx/access.log.*.gz | cat - /var/log/nginx/access.log > all_access.log

# Line count (≈ number of requests) in the merged file
wc -l all_access.log

Structure d'un enregistrement : format CLF

La plupart des serveurs utilisent par défaut le Combined Log Format (CLF), une version étendue du Common Log Format. Voici les champs utiles à l'analyse SEO.

# Combined Log Format record (Nginx/Apache)
66.249.66.1 - - [19/May/2026:14:32:01 +0000] "GET /blog/seo-guide/ HTTP/1.1" 200 45231 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
│           │ │  │                              │                          │    │       │   │
│           │ │  │                              │                          │    │       │   └─ User-Agent
│           │ │  │                              │                          │    │       └───── Referer
│           │ │  │                              │                          │    └─────────── Bytes sent
│           │ │  │                              │                          └──────────────── HTTP status
│           │ │  │                              └─────────────────────────────────────────── Request
│           │ │  └────────────────────────────────────────────────────────────────────────── Timestamp
│           │ └───────────────────────────────────────────────────────────────────────────── Auth user
│           └─────────────────────────────────────────────────────────────────────────────── Ident
└─────────────────────────────────────────────────────────────────────────────────────────── IP address

Filtrage : isoler les crawlers

Les logs bruts mélangent les requêtes des utilisateurs, les pings de monitoring, les spambots et les crawlers des moteurs de recherche. Pour l'analyse SEO, il faut extraire uniquement les robots des moteurs. Le moyen le plus fiable consiste à filtrer sur la chaîne User-Agent, puis à vérifier l'IP par DNS.

# Extract all Googlebot requests
grep -i 'googlebot' /var/log/nginx/access.log > googlebot.log

# Extract all SEO crawlers
grep -iE '(googlebot|bingbot|yandex|ahrefsbot|semrushbot|mj12bot)' \
     /var/log/nginx/access.log > all_bots.log

# Count requests by crawler
grep -oiE '(googlebot|bingbot|yandexbot|ahrefsbot|semrushbot)' \
     /var/log/nginx/access.log | sort | uniq -c | sort -rn

# Verify IP via reverse DNS (confirm it's the real Googlebot)
host 66.249.66.1
# Should return: crawl-66-249-66-1.googlebot.com
# Then forward DNS:
host crawl-66-249-66-1.googlebot.com
# Should return the same IP — then it's a legitimate Googlebot

Métriques SEO clés

Une fois le filtrage effectué, passez à l'analyse. Voici six métriques qui apportent le plus d'enseignements pour le moins d'efforts.

Outils d'analyse

Trois outils couvrent 95 % des tâches d'analyse de logs : la ligne de commande pour les vérifications rapides, une interface spécialisée pour l'analyse approfondie, et Python ou BigQuery pour les gros volumes et l'automatisation.

Bash : analyse rapide sans installation

# Top 20 URLs Googlebot crawls most often
grep -i 'googlebot' access.log \
  | awk '{print $7}' \
  | sort | uniq -c | sort -rn | head -20

# Response status distribution for Googlebot
grep -i 'googlebot' access.log \
  | awk '{print $9}' \
  | sort | uniq -c | sort -rn

# URLs returning 404 to Googlebot
grep -i 'googlebot' access.log \
  | awk '$9 == 404 {print $7}' \
  | sort | uniq -c | sort -rn | head -50

# Googlebot request count by day
grep -i 'googlebot' access.log \
  | awk '{print $4}' \
  | cut -d: -f1 | tr -d '[' \
  | sort | uniq -c

# Parametric URLs in Googlebot requests
grep -i 'googlebot' access.log \
  | awk '{print $7}' \
  | grep '?' \
  | sort | uniq -c | sort -rn | head -30

Screaming Frog Log File Analyser

Un outil payant (259 $ par an), mais indispensable pour une analyse régulière. Il charge le fichier de logs, l'analyse et produit des rapports : segmentation Bot/Browser, tableaux de bord des statuts, cartes de chaleur des crawls par répertoire et liste des pages sans crawl. Il prend en charge les formats Nginx, Apache, IIS, CloudFlare, Fastly et les CSV personnalisés.

Python : une analyse souple pour les gros fichiers

import re
from collections import Counter

LOG_PATTERN = re.compile(
    r'(?P<ip>\S+) \S+ \S+ \[(?P<time>[^\]]+)\] '
    r'"(?P<method>\S+) (?P<url>\S+) \S+" '
    r'(?P<status>\d{3}) (?P<size>\S+) '
    r'"(?P<referer>[^"]*)" "(?P<ua>[^"]*)')

def parse_log(path: str, bot_pattern: str = 'googlebot') -> list[dict]:
    entries = []
    with open(path) as f:
        for line in f:
            m = LOG_PATTERN.match(line)
            if not m:
                continue
            if bot_pattern.lower() not in m.group('ua').lower():
                continue
            entries.append({
                'ip': m.group('ip'),
                'url': m.group('url'),
                'status': int(m.group('status')),
                'ua': m.group('ua'),
            })
    return entries

entries = parse_log('access.log')

# Top 20 URLs by crawl frequency
url_counts = Counter(e['url'] for e in entries)
for url, count in url_counts.most_common(20):
    print(f'{count:>6}  {url}')

# 404 errors
errors = [e['url'] for e in entries if e['status'] == 404]
for url, count in Counter(errors).most_common(20):
    print(f'{count:>6}  404  {url}')

Motifs de crawl : ce qu'il faut repérer

Les métriques brutes n'ont aucun sens sans interprétation. Voici des motifs précis à rechercher dans les logs de Googlebot.

Motif 1 : crawlé mais non indexé

Googlebot visite régulièrement une page, mais elle n'apparaît jamais comme « Indexée » dans la GSC. Causes possibles : balise meta noindex, blocage par l'en-tête HTTP X-Robots-Tag, contenu pauvre, canonical pointant vers une autre page. Comparez la liste des URL régulièrement crawlées avec les pages indexées obtenues via l'API de la GSC : les écarts révèlent les pages problématiques.

Motif 2 : tempêtes de crawl

Un pic soudain de requêtes de Googlebot sur une courte période est souvent le signe d'URL générées à l'infini : facettes, URL de pagination avec paramètres, jetons de session dans les URL. Une tempête de crawl peut épuiser tout votre budget en quelques heures et faire peser une charge réelle sur le serveur. Représentez les requêtes sous forme d'histogramme par heure : les pics anormaux apparaissent immédiatement.

Motif 3 : nouvelles pages ignorées

Une nouvelle page a été créée il y a trois semaines, ajoutée au sitemap, mais les logs de Googlebot n'affichent aucune requête. Causes : aucun lien interne ne pointe vers la page, le sitemap n'est pas crawlé de nouveau par le bot, ou la page est située à un niveau d'imbrication trop profond. Vérifiez les nouvelles URL avec l'outil d'inspection de la GSC et recherchez la date de première apparition dans les logs.

Motif 4 : ressources qui bloquent le rendu

Googlebot demande non seulement les pages HTML, mais aussi les CSS, les JS et les images. Si des ressources critiques sont bloquées dans le robots.txt, le bot ne peut pas faire le rendu de la page et risque de la sous-évaluer. Vérifiez dans les logs quelle part des requêtes de Googlebot vise des ressources statiques, et si des fichiers JS indispensables sont bloqués.

Problèmes courants et solutions

# Detect redirect chains in logs
# Step 1: extract all URLs with 301/302 status for Googlebot
grep -i 'googlebot' access.log \
  | awk '$9 ~ /^30[12]$/ {print $7}' | sort -u > redirects.txt

# Step 2: check if any of those URLs are also redirect sources
while read url; do
  if grep -q "GET $url " redirects.txt 2>/dev/null; then
    echo "CHAIN: $url"
  fi
done < redirects.txt

# Find 5xx errors grouped by URL and hour
grep -i 'googlebot' access.log \
  | awk '$9 ~ /^5/ {print $4" "$7}' \
  | cut -d: -f1-2 \
  | sort | uniq -c | sort -rn | head -20

FAQ

Synthèse

L'analyse des fichiers de logs est l'audit SEO le plus fiable qui soit. La GSC présente des agrégats, Screaming Frog simule, alors que les logs enregistrent chaque décision réelle de Googlebot. Le processus est simple : récupérer les logs des 30 à 90 derniers jours → filtrer les crawlers par User-Agent avec une vérification DNS → calculer les six métriques clés → recouper avec l'index de la GSC → corriger les écarts.

Commencez par trois commandes Bash : les 20 URL les plus crawlées, la répartition des codes de statut et le top des 404. En une heure, vous disposerez d'une liste concrète d'actions : redirections à mettre en place, URL à bloquer dans le robots.txt, pages à ajouter au sitemap. Cela va plus vite et coûte moins cher qu'un audit payant : les données se trouvent déjà sur votre serveur.