Réglages des cookies

Les cookies nécessaires gardent le site fonctionnel. L'analytics montre quelles pages sont utiles. Vous pouvez changer votre choix à tout moment depuis le pied de page.

Politique de cookies — le détail : catégories de cookies, stockage de votre choix dans le navigateur et retrait du consentement.

Nécessaires

Fonctions de base du site et votre choix de consentement. Toujours actifs.

Mesure d'audience

Aide à comprendre comment le site est utilisé. Chargé uniquement avec votre accord.

GitHubTélécharger le ZIP

Crawl d'un sitemap et d'une liste d'URL

Outre le suivi des liens, SpiderHead peut crawler les URL déclarées dans un sitemap ou une liste d'URL explicite, et confronter ce que déclare le sitemap avec ce que le crawl a trouvé.

Voir sur GitHubDémarrage rapide

Ce qu'elle fait

  • SpiderHead dans le terminal : seohead sitemap-crawl
  • Application de bureau SpiderHead : la boîte de dialogue « Nouveau scan », qui propose les sources site entier, sitemap et liste d'URL, avec les réglages de vitesse et de limites.

Modes sitemap, liste et fichier d'URL

sitemap-crawl développe un sitemap en arborescence d'URL. Il accepte une URL de sitemap ou la racine d'un site : il lit alors les lignes Sitemap du robots.txt et se rabat sur /sitemap.xml. Pour un crawl, crawl-site --sitemap utilise les URL du sitemap comme points de départ et les réconcilie avec le crawl, --sitemap-only ne récupère que ces membres, et --urls ou --urls-file récupèrent une liste explicite sans suivre les liens.

  • Index de sitemap, urlset, sitemaps en texte brut et sitemaps en gzip
  • Les URL en double entre plusieurs sitemaps sont signalées.

Sitemap contre crawl

L'audit compare l'ensemble des URL du sitemap à l'ensemble des URL crawlées. Il signale les URL du sitemap qui redirigent, sont cassées ou non indexables, ainsi que les pages indexables absentes du sitemap. Les codes de réponse des URL déclarées proviennent du crawl, pas de sitemap-crawl.

  • URL du sitemap sans aucun lien interne
  • Ensembles d'URL désynchronisés

Trois étapes, un seul scan enregistré

  1. Lire le sitemap

    Donnez une URL de sitemap. Les index de sitemaps, les sitemaps enfants, les listes en texte et les fichiers gzip sont suivis jusqu'aux entrées d'URL.

  2. Contrôler chaque URL déclarée

    sitemap-crawl lit les fichiers de sitemap et signale les entrées déclarées, en double et invalides. Pour obtenir un code de réponse pour chaque URL déclarée, crawlez-les avec crawl-site --sitemap ou --sitemap-only.

  3. Comparer avec le crawl

    L'audit confronte les URL du sitemap aux pages qu'il a crawlées et signale ce qui n'est pas synchronisé.

Contrôles de cette fonctionnalité

ContrôleSignificationGravitéPreuve
SITEMAP_URL_4XX_5XXUne URL du sitemap renvoie une réponse 4xx ou 5xxCriticalURL du sitemap et son code de statut
SITEMAP_URL_3XXUne URL du sitemap redirige au lieu de renvoyer 200ImportantURL du sitemap et son statut de redirection
SITEMAP_URL_NON_INDEXABLELe sitemap liste une URL non indexableImportantEntrée du sitemap
SITEMAP_DESYNCLes ensembles d'URL du sitemap et du crawl ne correspondent pasImportantEnsemble du sitemap comparé à l'ensemble du crawl
URL_NOT_IN_SITEMAPUne page indexable est absente du sitemapTipURL canonique crawlée
SITEMAP_STALE_LASTMODLe sitemap contient des valeurs lastmod périmées ou génériquesTipValeurs lastmod du sitemap
Aussi dans le registre des contrôles
SITEMAP_URL_NON_CANONICALSITEMAP_ORPHANSITEMAP_URL_DUPLICATEDSITEMAP_TOO_MANY_URLS

Une seule commande

bash
seohead sitemap-crawl --url https://example.com/sitemap.xml

Commencez par installer : guide d'installation. Chaque commande fonctionne aussi comme outil MCP pour les agents IA.

Ce qu'il vous faut

  • Une URL de sitemap ou la racine d'un site
  • Pour la comparaison : un crawl lancé avec --sitemap
  • Pour une liste fixe : un fichier TXT, CSV, XLSX ou XML contenant des URL

Limites

  • sitemap-crawl lit uniquement les fichiers de sitemap ; il n'appelle pas chaque URL déclarée.
  • Les contrôles de désynchronisation et de pages orphelines nécessitent un crawl de comparaison.
  • Les très grands sitemaps sont plafonnés, et la troncature est signalée.

Questions

Quels formats de sitemap sont lus ?
Les index de sitemap, les fichiers urlset, les sitemaps en texte brut (une URL par ligne) et les fichiers gzip, qu'il s'agisse de fichiers .gz ou de réponses encodées en gzip. Les index imbriqués sont parcourus jusqu'au bout.
Puis-je donner une liste d'URL au lieu d'un sitemap ?
Oui, dans un crawl : crawl-site --urls accepte une liste séparée par des virgules, et --urls-file accepte un fichier TXT, CSV, XLSX ou XML, sans découverte de liens. Pour ajouter une liste à un scan enregistré, utilisez scan-import-urls, qui crée d'abord une sauvegarde vérifiée.
Cela modifie-t-il quoi que ce soit sur mon site ?
Non. L'outil demande les fichiers de sitemap et, dans un crawl, les pages que vous indiquez. Il ne modifie ni le sitemap ni les pages.
La seule commande sitemap détecte-t-elle la désynchronisation ou les URL orphelines ?
Non. Ces contrôles nécessitent l'ensemble des URL crawlées : ils s'exécutent lorsqu'un crawl est réconcilié avec le sitemap (crawl-site --sitemap). La commande seule renvoie l'arborescence des URL avec les valeurs lastmod.

Pour aller plus loin

Du blog et du glossaire

Sitemap XML : créer, valider et soumettre le fichierBlogSitemap XMLGlossaire

Autres dans ce groupe · Crawl

Crawler SEO local et gratuitFonctionnalitéCrawler avec rendu JavaScriptFonctionnalitéBudget de crawl respectueux et limites de débitFonctionnalitéReprendre un crawl interrompuFonctionnalitéPérimètre de crawl, robots.txt et directivesFonctionnalitéExtraction personnalisée depuis les pages crawléesFonctionnalité

Essayez-le sur votre site

Télécharger le ZIPToutes les fonctionnalités