Configurações de cookies

Os cookies necessários mantêm o site funcionando. A análise mostra quais páginas são úteis. Você pode mudar sua escolha a qualquer momento pelo rodapé.

Política de cookies deste site — detalhes completos: categorias de cookies, como guardamos sua escolha no navegador e como retirar o consentimento.

Necessários

Funções básicas do site e sua escolha de consentimento. Sempre ativos.

Análise

Ajuda a entender como o site é usado. Carregado apenas com sua permissão.

GitHubBaixar ZIP

Rastreamento de sitemap e de lista de URLs

Além de seguir links, o SpiderHead pode rastrear as URLs declaradas em um sitemap ou uma lista explícita de URLs, e cruzar o que o sitemap declara com o que o rastreamento encontrou.

Ver no GitHubInício rápido

O que faz

  • SpiderHead no terminal: seohead sitemap-crawl
  • App desktop SpiderHead: a caixa Novo scan, com as fontes site inteiro, sitemap e lista de URLs, além dos controles de velocidade e limite.

Modos de sitemap, lista e arquivo de URLs

O sitemap-crawl expande um sitemap em uma árvore de URLs. Ele aceita uma URL de sitemap ou a raiz de um site: nesse caso, lê as linhas Sitemap do robots.txt e usa /sitemap.xml como alternativa. Em um rastreamento, o crawl-site --sitemap usa as URLs do sitemap como ponto de partida e as cruza com o resultado; o --sitemap-only busca apenas esses membros; e --urls ou --urls-file buscam uma lista explícita sem seguir links.

  • Índice de sitemap, urlset, sitemaps em texto simples e sitemaps em gzip
  • URLs duplicadas entre sitemaps são informadas

Sitemap contra rastreamento

A auditoria compara o conjunto de URLs do sitemap com o conjunto rastreado. Ela informa URLs do sitemap que redirecionam, quebram ou não são indexáveis, e páginas indexáveis que não estão nele. Os códigos de resposta das URLs declaradas vêm do rastreamento, não do sitemap-crawl.

  • URLs do sitemap sem links internos
  • Conjuntos de URLs fora de sincronia

Três passos, um rastreamento salvo

  1. Leia o sitemap

    Informe uma URL de sitemap. Índices de sitemap, sitemaps filhos, listas de texto e arquivos gzip são seguidos até as entradas de URL.

  2. Verifique cada URL declarada

    O sitemap-crawl lê os arquivos de sitemap e informa as entradas declaradas, duplicadas e inválidas. Para obter o código de resposta de cada URL declarada, rastreie-as com crawl-site --sitemap ou --sitemap-only.

  3. Compare com o rastreamento

    A auditoria confronta as URLs do sitemap com as páginas rastreadas e sinaliza o que está fora de sincronia.

Verificações deste recurso

VerificaçãoO que significaGravidadeEvidência
SITEMAP_URL_4XX_5XXUma URL do sitemap retorna resposta 4xx ou 5xxCriticalURL do sitemap e o código de status
SITEMAP_URL_3XXUma URL do sitemap redireciona em vez de retornar 200ImportantURL do sitemap e o status do redirecionamento
SITEMAP_URL_NON_INDEXABLEO sitemap lista uma URL não indexávelImportantEntrada do sitemap
SITEMAP_DESYNCOs conjuntos de URLs do sitemap e do rastreamento não batemImportantConjunto do sitemap contra o conjunto do rastreamento
URL_NOT_IN_SITEMAPUma página indexável não está no sitemapTipURL canônica rastreada
SITEMAP_STALE_LASTMODO sitemap tem valores de lastmod desatualizados ou genéricosTipValores de lastmod no sitemap
Também no registro de verificações
SITEMAP_URL_NON_CANONICALSITEMAP_ORPHANSITEMAP_URL_DUPLICATEDSITEMAP_TOO_MANY_URLS

Um comando

bash
seohead sitemap-crawl --url https://example.com/sitemap.xml

Instale primeiro: guia de instalação. Todo comando também funciona como ferramenta MCP para agentes de IA.

O que você precisa

  • Uma URL de sitemap ou a raiz de um site
  • Para a comparação: um rastreamento executado com --sitemap
  • Para uma lista fixa: um arquivo TXT, CSV, XLSX ou XML com URLs

Limites

  • O sitemap-crawl lê apenas arquivos de sitemap e não requisita cada URL declarada
  • As verificações de dessincronização e de órfãs precisam de um rastreamento para comparar
  • Sitemaps muito grandes são limitados, e o corte é sinalizado

Perguntas

Quais formatos de sitemap ele lê?
Índices de sitemap, arquivos urlset, sitemaps em texto simples (uma URL por linha) e arquivos gzip, tanto arquivos .gz quanto respostas codificadas em gzip. Índices aninhados são seguidos até o fim.
Posso dar uma lista de URLs em vez de um sitemap?
Sim, em um rastreamento: o crawl-site --urls aceita uma lista separada por vírgulas, e o --urls-file aceita um arquivo TXT, CSV, XLSX ou XML, sem descoberta de links. Para adicionar uma lista a um scan salvo, use o scan-import-urls, que cria antes uma cópia de segurança verificada.
Isso altera algo no meu site?
Não. Ele requisita os arquivos de sitemap e, em um rastreamento, as páginas que você indicar. Não edita o sitemap nem as páginas.
O comando sitemap sozinho encontra dessincronização ou URLs órfãs?
Não. Essas verificações precisam do conjunto de URLs rastreado, então rodam quando um rastreamento é cruzado com o sitemap (crawl-site --sitemap). O comando sozinho retorna a árvore de URLs com os valores de lastmod.

Continue explorando

Do blog e do glossário

XML Sitemap: como criar, validar e enviarBlogSitemap XMLGlossário

Mais neste grupo · Rastreamento

Rastreador de SEO local e gratuitoRecursoRastreador com renderização de JavaScriptRecursoRastreamento responsável: orçamento e limites de requisiçõesRecursoRetomar um rastreamento interrompidoRecursoEscopo do rastreamento, robots.txt e diretivasRecursoExtração personalizada de páginas rastreadasRecurso

Teste no seu próprio site

Baixar ZIPTodos os recursos