Configuración de cookies

Las cookies necesarias mantienen el sitio funcionando. La analítica muestra qué páginas son útiles. Puedes cambiar tu elección en cualquier momento desde el pie de página.

Política de cookies de este sitio — todos los detalles: categorías de cookies, cómo guardamos tu elección en el navegador y cómo retirar el consentimiento.

Necesarias

Funciones básicas del sitio y tu elección de consentimiento. Siempre activas.

Analítica

Ayuda a entender cómo se usa el sitio. Se carga solo si lo permites.

GitHubDescargar ZIP

Rastreador de sitemap y de listas de URL

Además de seguir enlaces, SpiderHead puede rastrear las URL que declara un sitemap o una lista de URL explícita, y cotejar lo que dice el sitemap con lo que encontró el rastreo.

Ver en GitHubInicio rápido

Qué hace

  • SpiderHead en la terminal: seohead sitemap-crawl
  • App de escritorio de SpiderHead: el cuadro Nuevo escaneo, que ofrece como fuentes todo el sitio, el sitemap y una lista de URL, con controles de velocidad y de límites.

Modos de sitemap, lista y archivo de URL

sitemap-crawl expande un sitemap en un árbol de URL. Acepta la URL de un sitemap o la raíz del sitio: en este último caso lee las líneas Sitemap de robots.txt y, si no las hay, recurre a /sitemap.xml. Para un rastreo, crawl-site --sitemap usa las URL del sitemap como semillas y las coteja, --sitemap-only solo solicita esos miembros, y --urls o --urls-file solicitan una lista explícita sin seguir enlaces.

  • Índices de sitemap, urlset, sitemaps de texto plano y sitemaps en gzip.
  • Se informan las URL duplicadas entre sitemaps.

Sitemap frente a rastreo

La auditoría compara el conjunto de URL del sitemap con el conjunto rastreado. Informa de las URL del sitemap que redirigen, están rotas o no son indexables, y de las páginas indexables que faltan en él. Los códigos de respuesta de las URL declaradas proceden del rastreo, no de sitemap-crawl.

  • URL del sitemap sin enlaces internos
  • Conjuntos de URL desincronizados

Tres pasos, un análisis guardado

  1. Lee el sitemap

    Indica una URL de sitemap. Los índices de sitemap, los sitemaps hijos, las listas de texto y los archivos gzip se siguen hasta llegar a las entradas de URL.

  2. Comprueba cada URL declarada

    sitemap-crawl lee los archivos de sitemap e informa de las entradas declaradas, duplicadas y no válidas. Para obtener un código de respuesta de cada URL declarada, rastréalas con crawl-site --sitemap o --sitemap-only.

  3. Compara con el rastreo

    La auditoría coteja los conjuntos de URL del sitemap con las páginas rastreadas y marca lo que está desincronizado.

Comprobaciones de esta función

ComprobaciónQué significaGravedadEvidencia
SITEMAP_URL_4XX_5XXUna URL del sitemap devuelve una respuesta 4xx o 5xxCriticalURL del sitemap y su código de estado
SITEMAP_URL_3XXUna URL del sitemap redirige en lugar de devolver 200ImportantURL del sitemap y su código de redirección
SITEMAP_URL_NON_INDEXABLEEl sitemap incluye una URL que no es indexableImportantEntrada del sitemap
SITEMAP_DESYNCEl sitemap y los conjuntos de URL rastreadas no coincidenImportantConjunto del sitemap frente al conjunto del rastreo
URL_NOT_IN_SITEMAPFalta en el sitemap una página indexableTipURL canónica rastreada
SITEMAP_STALE_LASTMODEl sitemap tiene valores de lastmod obsoletos o copiados sin revisarTipValores de lastmod en el sitemap
También en el registro de comprobaciones
SITEMAP_URL_NON_CANONICALSITEMAP_ORPHANSITEMAP_URL_DUPLICATEDSITEMAP_TOO_MANY_URLS

Un solo comando

bash
seohead sitemap-crawl --url https://example.com/sitemap.xml

Primero, instala SpiderHead: guía de instalación. Cada comando también funciona como herramienta MCP para agentes de IA.

Qué necesitas

  • Una URL de sitemap o la raíz del sitio
  • Para la comparación: un rastreo ejecutado con --sitemap
  • Para una lista fija: un archivo TXT, CSV, XLSX o XML con URL

Límites

  • sitemap-crawl lee solo los archivos de sitemap; no solicita cada URL declarada.
  • Las comprobaciones de desincronización y de huérfanas necesitan un rastreo con el que comparar.
  • Los sitemaps muy grandes se limitan, y el recorte queda señalado.

Preguntas

¿Qué formatos de sitemap lee?
Índices de sitemap, archivos urlset, sitemaps de texto plano (una URL por línea) y archivos gzip, tanto los .gz como las respuestas con codificación gzip. Los índices anidados se siguen hasta el final.
¿Puedo darle una lista de URL en lugar de un sitemap?
Sí, en un rastreo: crawl-site --urls acepta una lista separada por comas y --urls-file acepta un archivo TXT, CSV, XLSX o XML, sin descubrir enlaces. Para añadir una lista a un escaneo guardado, usa scan-import-urls, que crea antes una copia de seguridad verificada.
¿Cambia algo en mi sitio?
No. Solicita los archivos del sitemap y, en un rastreo, las páginas que indiques. No edita el sitemap ni las páginas.
¿El comando de sitemap por sí solo encuentra URL desincronizadas o huérfanas?
No. Esas comprobaciones necesitan el conjunto de URL rastreadas, así que se ejecutan cuando un rastreo se coteja con el sitemap (crawl-site --sitemap). El comando por sí solo devuelve el árbol de URL con los valores de lastmod.

Sigue explorando

Del blog y el glosario

Sitemap XML: cómo crearlo, validarlo y enviarloBlogSitemap XMLGlosario

Más de este grupo · Rastreo

Rastreador SEO local y gratuitoFunciónRastreador con renderizado de JavaScriptFunciónRastreo respetuoso: presupuesto y límites de velocidadFunciónReanudar un rastreo interrumpidoFunciónAlcance del rastreo, robots.txt y directivasFunciónExtracción personalizada de páginas rastreadasFunción

Pruébalo en tu propio sitio

Descargar ZIPTodas las funciones