Les crawls peuvent être repris. Un scan est un fichier SQLite conservé, qui garde sa provenance : un crawl arrêté reprend donc là où il s’est arrêté, au lieu de repartir de zéro.
Un scan natif est un seul fichier SQLite qui regroupe les preuves, la file d’attente et l’ensemble des réglages. Vous pouvez l’inspecter, l’exporter, en faire un instantané, l’épingler, le purger, le remettre en file d’attente, comparer le contenu des réponses et le réanalyser hors ligne, sans solliciter de nouveau le site. Un scan terminé est immuable.
Lancez crawl-site --resume avec le chemin du scan : le crawl reprend depuis la file d’attente enregistrée, selon les règles enregistrées. À la sortie, crawl-site indique si l’exécution s’est terminée, s’est arrêtée prématurément ou a repris une exécution précédente. crawl-diagnose lit le scan hors ligne et explique ce qui a arrêté le crawl, sans aucune requête réseau.
Un scan SQLite conserve dans un seul fichier la file d’attente, les preuves et l’ensemble des réglages. Ils sont écrits dans la même transaction, donc un arrêt ne les dissocie pas.
Lancez seohead crawl-site --resume avec le chemin du scan. L’URL de départ et les réglages sont lus dans le fichier : le crawl reprend donc selon les mêmes règles.
crawl-diagnose lit le scan hors ligne. Il affiche la file d’attente, l’état de robots.txt, du périmètre et du budget, les types de contenu et les échecs enregistrés, sans aucune requête réseau.
| Contrôle | Signification | Gravité | Preuve |
|---|---|---|---|
NO_RESPONSE | L’URL a dépassé le délai d’attente, la résolution DNS a échoué ou la connexion a été refusée. Un serveur à l’arrêt apparaît souvent ici. | Critical | URL et type d’échec dans le scan |
SERVER_ERROR_5XX | La page renvoie un code HTTP 5xx, par exemple lorsque le serveur cesse de répondre sous charge. | Critical | URL et code HTTP |
BROKEN_PAGE_4XX | La page renvoie un code HTTP 4xx : elle est cassée pour les internautes comme pour les crawlers. | Critical | URL et code HTTP |
BLOCKED_BY_ROBOTS | robots.txt bloque l’URL. Vérifiez que ce blocage est voulu avant de reprendre. | Important | URL et règle robots.txt |
seohead crawl-diagnose --scan ./scans/audit.sqliteCommencez par installer : guide d'installation. Chaque commande fonctionne aussi comme outil MCP pour les agents IA.