Processo em que o rastreador de um mecanismo de busca descobre e solicita URLs para coletar conteúdo e sinais. O rastreamento é diferente da indexação, do ranqueamento e dos relatórios.
A decisão e seus limites
O rastreamento é a etapa de recuperação em que o mecanismo de busca descobre URLs por meio de links, sitemaps e outros sinais, e depois as solicita. Uma requisição bem-sucedida não significa que a página será indexada, exibida ou ranqueada. Por outro lado, uma URL já indexada pode não ser rastreada logo após uma mudança. O trabalho que dá para aplicar é tornar as URLs importantes fáceis de descobrir, acessíveis e ligadas por links internos, além de mantê-las coerentes com a política de canonical e de controle de indexação.
O que verificar
Defina um conjunto de URLs antes de rastrear: templates, diretórios importantes, sitemaps e rotas antigas conhecidas. Registre o código de resposta, a URL final, o canonical, as diretivas de robots, a disponibilidade do conteúdo renderizado e a profundidade dos links. Compare a saída do rastreamento com as evidências do sitemap e do Search Console, sem tratar as duas populações como se fossem intercambiáveis. Marque explicitamente as URLs inacessíveis ou não medidas.
Um caminho prático de implementação
Dê às páginas importantes links HTML comuns a partir de hubs relevantes, use o sitemap como declaração das URLs finais indexáveis e mantenha as regras do robots alinhadas à política de rastreamento desejada. Corrija erros de resposta e cadeias de redirecionamento antes de pedir um novo rastreamento. Depois de uma mudança, repita o mesmo rastreamento delimitado e confira as evidências do servidor ou da busca na amostra definida, em vez de tirar conclusões sobre o site inteiro a partir de uma única URL.
Erros e limites de medição
A confusão mais comum é achar que o rastreamento causou o ranqueamento, ou que um bloqueio no robots resolve a indexação. Rastreamento, indexação e ranqueamento são etapas separadas, com evidências diferentes. Não considere uma resposta 200 como aprovação antes de conferir também a URL final, o canonical e o conteúdo visível da página.
Exemplo de rastreamento. Quando uma nova categoria é lançada, liste a URL canônica, a resposta esperada, o link do hub pai, a inclusão no sitemap, a política do robots e o requisito de renderização. Rastreie a página-pai e a categoria com um user agent e um modo de renderização definidos, depois compare a URL coletada com o estado previsto. Se o rastreador encontrar um redirecionamento, um recurso bloqueado ou um canonical diferente, investigue essa condição em vez de considerar a categoria como rastreada. Rastrear uma única URL não comprova que toda uma família de templates é descobrível.
Critérios de verificação. Um registro útil de rastreamento informa o conjunto inicial, a data, o tratamento das respostas, as premissas de renderização, os limites, as falhas e a política de normalização de URLs. Para as URLs importantes, confira status, cadeia de redirecionamentos, URL final, canonical, diretivas de indexação, origem do link e se o conteúdo essencial foi renderizado. Compare o rastreamento com as entradas do sitemap e com a cobertura no Search Console com cautela, porque eles respondem perguntas diferentes e podem usar datas diferentes. Mantenha visíveis as populações sem correspondência.
Erros comuns. Não use o robots.txt para ocultar uma URL esperando que ele comunique uma regra de noindex. Não confunda uma resposta 200 com um alvo de rastreamento válido quando ela traz um canonical incorreto, um corpo raso após a renderização ou recursos com redirecionamento. Evite dizer que um rastreador “encontrou todas as páginas” sem um escopo documentado. Descoberta, requisição, indexação e ranqueamento precisam continuar separados no relatório.