Configurações de cookies

Os cookies necessários mantêm o site funcionando. A análise mostra quais páginas são úteis. Você pode mudar sua escolha a qualquer momento pelo rodapé.

Política de cookies deste site — detalhes completos: categorias de cookies, como guardamos sua escolha no navegador e como retirar o consentimento.

Necessários

Funções básicas do site e sua escolha de consentimento. Sempre ativos.

Análise

Ajuda a entender como o site é usado. Carregado apenas com sua permissão.

GitHubBaixar ZIP

Analisador de arquivos de log do servidor

Analise logs de acesso do Apache, Nginx e IIS: quais bots rastreiam cada seção, quais códigos de status eles recebem e quantas das requisições deles terminam em erro. Opcionalmente, verifique a identidade dos bots com DNS reverso confirmado por DNS direto (forward-confirmed reverse DNS).

Ver no GitHubInício rápido

O que faz

  • App desktop SpiderHead: a tela Logs do servidor, com um log de acesso importado e resumido por URL.
  • App desktop SpiderHead: a tela de evidências de IP dos bots, listando bots de busca e de IA encontrados em um log de acesso.

Ler um log

O log-analyze lê um arquivo de log de acesso, simples ou em gzip, e detecta o formato pelas primeiras linhas. Ele agrupa as requisições por família de bot e mostra acessos, bytes, IPs únicos, códigos de status e seções visitadas. Os resultados descrevem a parte do log que foi processada, e não o site inteiro.

  • Formatos: Apache e Nginx em Common ou Combined, e IIS W3C Extended.
  • --max-lines define um limite explícito de entrada.
  • Os resultados são paginados, e --bot e --ip filtram o que aparece.

Verificar bots

Um user agent sozinho não prova nada. Com --verify-bots, o SpiderHead confere se um IP resolve para um nome de host oficial e se esse nome resolve de volta para o mesmo IP. Cada IP recebe um veredito: verified, fake ou unchecked. Se o DNS estiver bloqueado na sua máquina, o resultado é indisponível, e não falso.

  • --max-dns limita as consultas a entre 0 e 100 por página.
  • Bots sem um sufixo de host oficial continuam como unchecked.
  • Só esta opção faz requisições de rede, e elas são consultas DNS.

Erros e o seu rastreamento

Para cada família de bot, o relatório indica quando mais de 10% das requisições retornam 4xx ou 5xx. Para comparar as visitas dos bots com um rastreamento, importe o log para um projeto com logs-import. Depois, o logs-join lista as URLs do scan que os bots nunca requisitaram, as URLs requisitadas que não estão no scan, as respostas de erro e as URLs não indexáveis visitadas pelos bots.

  • Visualizações: scan_without_bot_visits, bot_urls_absent_scan, status_waste, nonindexable.
  • URLs ausentes do scan são candidatas a análise, não órfãs comprovadas.
  • O logs-summary e o logs-bots mostram visões diárias, de status e por seção.

Três passos, um rastreamento salvo

  1. Aponte para um log de acesso

    Informe um arquivo de log do Apache, Nginx ou IIS (formato W3C), simples ou comprimido em gzip. O formato é detectado pelas primeiras linhas.

  2. Agrupe as requisições por bot

    Acessos, bytes, IPs únicos, códigos de status e seções visitadas de cada família de bot, do Googlebot e do Bingbot aos rastreadores de IA e ferramentas de SEO.

  3. Verifique a identidade do bot

    Com --verify-bots, cada IP de bot recebe uma verificação de DNS reverso confirmado por DNS direto: verified, fake ou unchecked. Um user agent sozinho nunca é tomado como prova.

Um comando

bash
seohead log-analyze --path ./access.log --verify-bots

Instale primeiro: guia de instalação. Todo comando também funciona como ferramenta MCP para agentes de IA.

O que você precisa

  • Um arquivo de log de acesso do Apache, Nginx ou IIS (gzip é aceito), ou uma pasta de importação
  • Opcional: um projeto e um scan salvo, para comparar os logs com um rastreamento
  • Opcional: DNS de saída funcionando, para --verify-bots

Limites

  • Só são lidos os formatos de log suportados. Layouts de campos personalizados não são lidos.
  • Os nomes dos bots são apenas declarações do user agent até serem verificados.
  • Um log ausente ou incompleto não prova zero visitas.
  • Linhas do Apache sem fuso horário e timestamps do IIS são lidos como UTC.

Perguntas

Ele envia algo ou altera o meu site?
Não. O log é lido do seu disco e o site nunca é acessado. Só o --verify-bots faz requisições de rede, e elas são consultas DNS para IPs de bots.
Como saber se um acesso do Googlebot é real?
Execute com --verify-bots. O nome do DNS reverso precisa terminar em googlebot.com, google.com ou googleusercontent.com, e resolver de volta para o mesmo IP. Se o DNS estiver bloqueado, a ferramenta informa que a verificação está indisponível, em vez de marcar todos os bots como falsos.
Quais servidores e formatos são suportados?
Apache e Nginx nos formatos Common ou Combined, e IIS W3C Extended. As colunas do IIS são lidas da linha #Fields, então uma mudança na ordem dos campos continua funcionando. Arquivos gzip são lidos diretamente.
Como o desperdício de orçamento é medido?
O log-analyze informa, por família de bot, a proporção de respostas 4xx e 5xx. Acima de 10%, ele indica que a família está desperdiçando orçamento de rastreamento. Para comparar os acessos dos bots com as URLs que você quer rastreadas, importe o log e use o logs-join com um scan salvo. Ele não compara com um sitemap.
O que fica gravado no disco?
O log-analyze não grava relatório, apenas um índice temporário, que ele remove. O logs-import grava um arquivo SQLite privado logs.v1 com contagens de bot, IP, URL, data e status. Ele não guarda as linhas originais, user agents nem referrers, mas IPs e caminhos ainda podem identificar pessoas, então mantenha esse arquivo fora de relatórios públicos.
Quanto custa?
Nada. É gratuito e não precisa de chave nem de conta.

Continue explorando

Do blog e do glossário

Análise de arquivos de log do servidor para SEO: guia completoBlogOrçamento de rastreamento: um guia prático para grandes plataformasBlogAnálise de arquivos de logGlossárioGooglebotGlossário

Mais neste grupo · Fontes de dados

Integração com o Google Search ConsoleRecursoDados do GA4 e do Yandex MetrikaRecursoIntegração com o Yandex WebmasterRecursoRelatório de Core Web Vitals do CrUXRecursoVerificador de backlinks de uma lista de doadoresRecursoFerramenta para montar o núcleo semânticoRecurso

Teste no seu próprio site

Baixar ZIPTodos os recursos