Comparer les crawls avant et après

Comparez deux audits ou scans enregistrés sans relancer de crawl. Voyez quels constats sont entrés, lesquels sont sortis et ce qui a changé dans une migration d’URL déclarée.

Ce qu'elle fait

Quatre catégories, une seule règle

Chaque constat est classé dans l’une des quatre catégories : entrés, sortis, apparus ou disparus. « Sortis » signifie que les deux crawls ont récupéré l’URL et que le constat a disparu. « Disparus » signifie que le crawl le plus récent n’a jamais récupéré l’URL : cela ne prouve rien sur une correction.

  • Des réglages de crawl enregistrés différents sont refusés, sauf si vous passez --force.
  • Les crawls natifs et les exports Screaming Frog peuvent ne pas trouver les mêmes ensembles d’URL : ne les comparez qu’avec un périmètre compatible.
  • Un contrôle ignoré dans la dernière exécution conserve un avertissement sur ses catégories.

Migrations

Pour comparer avant et après un changement d’URL, déclarez les paires dans un fichier url-correspondence.v1 et transmettez-le avec --correspondence. L’appariement est exact : SpiderHead ne devine pas les paires à partir des titres, des redirections ou du contenu. Le résultat est une revue de mise en production, avec les faits de page et les écarts de constats pour chaque paire déclarée.

  • origin_map couvre les déménagements d’origine entière.
  • Une déclaration contient au maximum 10 000 paires explicites et 10 000 origines.
  • Les déclarations plus longues sont refusées, jamais tronquées.

Grands audits et URL isolées

Au-delà de 10 000 pages ou de 10 000 problèmes, les audits exigent un --out-dir explicite. Il reçoit un nouveau dossier compare.v2 contenant des flux NDJSON et un manifeste, éventuellement compressés en gzip. Vous le relisez ensuite sans recalcul.

  • compare-read lit un flux à la fois, avec filtres et tri.
  • compare-report écrit un résumé Markdown qui ne contient aucune URL de page.
  • compare-url affiche les faits avant et après pour une URL exacte.
  • compare-status et --resume reprennent un travail interrompu.

Trois étapes, un seul scan enregistré

  1. Enregistrez un scan de chaque côté

    Lancez crawl-site avant et après le changement, ou importez un audit Screaming Frog. Chaque exécution laisse un fichier enregistré que vous pourrez comparer plus tard.

  2. Comparez les deux fichiers enregistrés

    compare-crawls lit les deux fichiers et classe chaque constat en entré, sorti, apparu ou disparu. Il ne récupère aucune URL.

  3. Distinguez une correction d’une page manquante

    sorti signifie que l’URL a été récupérée par les deux crawls et que le constat a disparu. disparu signifie que l’URL n’a pas été revérifiée : cela ne prouve rien. Utilisez verify-fixes pour obtenir un verdict sur des constats précis.

Contrôles de cette fonctionnalité

ContrôleSignificationGravitéPreuve
BROKEN_PAGE_4XXUne page renvoie un 4xx. L’écart indique si elle est entrée (nouvelle erreur) ou sortie (corrigée sur une URL que les deux crawls ont récupérée).CriticalLignes de constat avant et après pour la même URL
SERVER_ERROR_5XXUne page renvoie un 5xx. La même logique entré, sorti ou disparu s’applique entre les deux crawls.CriticalLignes de constat avant et après pour la même URL
TITLE_MISSINGL’élément title est absent d’une page. Une régression apparaît comme une ligne entrée, une correction comme une ligne sortie.CriticalLignes de constat avant et après pour la même URL
REDIRECT_CHAINUne chaîne de redirections comporte deux sauts ou plus. Utile après une migration pour vérifier qu’aucune chaîne n’a été ajoutée.ImportantLignes de constat avant et après pour la même URL
CANONICAL_MISSINGUne page indexable n’a pas d’URL canonical. Repère les balises canonical perdues lors d’une mise à jour de template.ImportantLignes de constat avant et après pour la même URL
URL_NOT_IN_SITEMAPUne page indexable est absente du sitemap. Indique si le sitemap a été mis à jour avec la mise en production.TipLignes de constat avant et après pour la même URL

Une seule commande

bash
seohead compare-crawls --before ./scans/before.sqlite --after ./scans/after.sqlite

Commencez par installer : guide d'installation. Chaque commande fonctionne aussi comme outil MCP pour les agents IA.

Ce qu'il vous faut

  • Deux fichiers audit.json enregistrés ou deux fichiers SQLite scan.v1 (--before, --after)
  • Facultatif : un fichier url-correspondence.v1 pour une migration
  • Un nouveau dossier de sortie (--out-dir) pour les grands audits

Limites

  • Un constat qui a disparu n’est pas une correction. Utilisez verify-fixes pour obtenir un verdict sur des constats précis
  • Un contrôle non mesuré ou ignoré ne peut pas montrer de correction, même si son constat est sorti
  • Aucun rapprochement d’URL au-delà des paires que vous déclarez
  • Un dossier de sortie déjà existant est refusé, jamais écrasé

Questions

compare-crawls relance-t-il un crawl du site ?
Non. Il lit deux fichiers d’audit ou de scan enregistrés et n’envoie aucune requête. verify-fixes est la commande qui récupère de nouveau les URL choisies.
Peut-on comparer un crawl natif avec un export Screaming Frog ?
Seulement avec un périmètre et des réglages compatibles. Les crawls natifs et Screaming Frog peuvent trouver des ensembles d’URL différents. Si les réglages de crawl enregistrés diffèrent, la comparaison est refusée, sauf si vous passez --force.
Une page a disparu du second crawl. Est-elle corrigée ?
On ne le sait pas. Un constat disparu signifie que la page n’a pas été revérifiée. Seul le statut « sorti » indique que l’URL a été récupérée par les deux crawls et que le constat a disparu.
Et pour les grands sites ?
Au-delà de 10 000 pages ou de 10 000 problèmes, un --out-dir explicite est nécessaire. Le résultat est un nouveau dossier compare.v2 contenant des fichiers NDJSON et un manifeste. Ajoutez --compression gzip pour réduire la taille des fichiers.
Peut-il associer les anciennes URL aux nouvelles après une migration ?
Uniquement avec un fichier url-correspondence.v1 déclaré, qui liste les paires d’origine et de chemin (--correspondence). Il ne devine pas les paires à partir des titres ou du contenu.
Qu’écrit-il sur le disque ?
Les comparaisons de petite taille sont renvoyées directement. Avec --out-dir, il écrit un nouveau dossier contenant le manifeste et un fichier par flux. Rien n’est envoyé nulle part.