O que é a análise de arquivos de log
Os logs registram requisições que chegaram ao servidor; eles não mostram diretamente a indexação, os rankings nem cada decisão de renderização. É preciso considerar a identificação dos bots e os limites de retenção.
A análise de arquivos de log examina os registros de requisições do servidor para ver como os rastreadores realmente acessam as URLs, revelando caminhos de rastreamento observados, códigos de resposta e requisições desperdiçadas dentro da janela de logs disponível.
Um fluxo prático de inspeção
Obtenha um período delimitado de logs, processe timestamps, URLs, códigos de status, user agents e bytes, normalize os parâmetros de consulta e separe o tráfego de rastreadores verificados das requisições comuns.
O que verificar
Compare os padrões de requisições dos rastreadores com o inventário de URLs canônicas, os sitemaps, os links internos e as respostas do servidor. Antes de tirar uma conclusão grande, confira uma amostra dos registros brutos.
Limites e erros comuns
Não conclua que uma URL não rastreada foi desindexada, nem confunda um user agent falsificado com um rastreador de mecanismo de busca.
Um fluxo de análise de logs sólido começa pelos limites de acesso e de privacidade. Limite os campos aos necessários para a análise de rastreamento, defina a janela de tempo e guarde um resultado agregado, em vez de compartilhar dados brutos de visitantes. Transforme os dados em uma tabela reproduzível e investigue apenas padrões que possam ser comparados com um inventário conhecido de URLs. Um pico em uma URL com parâmetros, por exemplo, é uma questão de descoberta e controle de URLs; ainda não é evidência de falha de orçamento de rastreamento.
Preserve a requisição original
Mantenha a URL e o status brutos da requisição como evidência imutável. Crie campos de agrupamento derivados para parâmetros, caminhos, bots e classes de resposta. Também identifique se os logs vêm de uma borda/CDN ou da origem: uma requisição à origem ausente pode significar tratamento de cache, e não que um rastreador deixou de solicitar a página.