Orçamento de rastreamento: um guia prático para grandes plataformas

Orçamento de rastreamento é o número de páginas que o Googlebot está disposto a rastrear no seu site em um determinado período. Em sites pequenos, ele é praticamente ilimitado. Em plataformas com milhões de URLs, vira um recurso estratégico: o bot desperdiça esse orçamento em filtros, paginação, templates vazios e páginas de staging, em vez de rastrear o conteúdo prioritário. O resultado são indexação atrasada de produtos novos, cobertura fraca do catálogo e perda de posições.

zoom_in

Passo 1: coletar e analisar os logs dos rastreadores

Os logs do servidor web são a principal fonte de verdade sobre o que o Googlebot realmente rastreia. A análise de logs mostra a frequência real de requisições, quais seções o bot ignora ou onde fica preso e quais respostas HTTP o servidor devolve. Sem logs, qualquer otimização é um palpite.

Extraindo requisições do Googlebot do Nginx / Apache

# Filter only Googlebot requests from the last 7 days
grep 'Googlebot' /var/log/nginx/access.log \
  | awk '{print $7}' \
  | sort | uniq -c | sort -rn \
  | head -50

# HTTP status codes seen by Googlebot
grep 'Googlebot' /var/log/nginx/access.log \
  | awk '{print $9}' \
  | sort | uniq -c | sort -rn

# Top URLs returning 404 to Googlebot
grep 'Googlebot' /var/log/nginx/access.log \
  | awk '$9 == "404" {print $7}' \
  | sort | uniq -c | sort -rn | head -30

Para analisar grandes volumes de logs de forma estruturada, use ferramentas específicas: Screaming Frog Log File Analyser, Semrush Log Analyser ou uma stack ELK (Elasticsearch + Kibana). Elas agrupam as URLs por padrão automaticamente e geram gráficos da taxa de rastreamento ao longo do tempo.

Passo 2: Google Search Console e análise das respostas do servidor

O Google Search Console fornece dados agregados de rastreamento sem exigir acesso aos logs do servidor. O relatório Estatísticas de rastreamento é o ponto de partida. Ele mostra a média diária de requisições, a velocidade de carregamento percebida pelo Google e a distribuição dos códigos de resposta.

• GSC → Configurações → Estatísticas de rastreamento: gráfico de requisições, com detalhamento por tipo de arquivo e código de resposta. Procure picos de 404 e 500 e quedas após as implantações.
• GSC → Indexação → Páginas: número de URLs indexadas em comparação com os motivos de não indexação. “Descoberta – atualmente não indexada” é um sinal direto de orçamento de rastreamento insuficiente.
• GSC → Inspeção de URL: verificação manual do status de uma página específica: quando foi rastreada pela última vez e o que o Googlebot viu.
• GSC → Configurações → Taxa de rastreamento: é possível limitar a taxa de rastreamento se o bot estiver sobrecarregando o servidor. Normalmente não é necessário; restrinja só quando houver problemas de desempenho mensuráveis.

Fontes de desperdício do orçamento de rastreamento

Em uma plataforma grande, o bot perde orçamento em seis fontes típicas. Identifique cada uma nos logs e estime o volume: assim você define a ordem de prioridade da otimização.

zoom_in

Parâmetros de URL e duplicatas: como corrigir

URLs com parâmetros são a maior fonte de desperdício em plataformas de e-commerce. Não existe uma solução única: a correta depende da natureza de cada parâmetro.

# robots.txt — blocking parametric URLs
User-agent: *

# Sort and filter parameters
Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=

# Pagination deeper than page 3 (Allow/Disallow approach)
Disallow: /*?page=
Allow: /*?page=1
Allow: /*?page=2
Allow: /*?page=3

# Session and tracking parameters
Disallow: /*?sessionid=
Disallow: /*?token=
Disallow: /*?ref=
Disallow: /*?utm_

# Preview and drafts
Disallow: /*?preview=
Disallow: /*?draft=

Filtros, facetas e paginação

A navegação facetada é o caso mais complexo. Ela cria uma explosão combinatória de URLs: 10 filtros com 5 valores cada podem gerar mais de um milhão de combinações. O objetivo é manter as facetas valiosas (marca + categoria) e bloquear as combinações inúteis.

1. Identifique as facetas valiosas: páginas com tráfego orgânico alto ou com conteúdo SEO único (por exemplo, /catalog/nike/ com texto específico da marca): mantenha-as no índice com canonical apontando para a própria URL.
2. Adicione noindex + follow às combinações de baixo valor: a página é renderizada (os links são seguidos), mas não entra no índice. Use <meta name="robots" content="noindex, follow"> no template quando mais de uma faceta estiver ativa.
3. Bloqueie os parâmetros puramente técnicos: ordenação, cor, tamanho — se não tiverem valor de SEO — bloqueie via robots.txt.
4. Facetas carregadas via AJAX: se as facetas carregam por JavaScript sem refletir na URL, o bot não vê URLs adicionais. Isso resolve o problema na arquitetura.

Paginação: canonical ou Disallow

A estratégia ideal de paginação depende da escala: até 10 páginas — permita o rastreamento e adicione canonical apontando para a página 1 nas páginas 2+. Para centenas de páginas de paginação — use Disallow a partir da página 3–5. Rolagem infinita sem parâmetros na URL é tratada pelo bot como uma única página — bom para o orçamento.

Páginas temporárias: webinars, mockups e demos

Páginas temporárias são um dreno oculto de orçamento em plataformas com equipes de marketing ativas. Landing pages de webinars, mockups de demonstração, páginas de preview para clientes, variantes de teste A/B: aparecem rápido e costumam ficar para sempre, consumindo orçamento de rastreamento em silêncio.

• meta robots noindex: adicione <meta name="robots" content="noindex, nofollow"> ao template de todas as páginas temporárias. O bot visita, lê a diretiva e exclui a URL do índice. É o método mais simples quando há acesso ao template.
• Cabeçalho HTTP X-Robots-Tag: se as páginas temporárias não tiverem template HTML próprio (por exemplo, PDFs ou arquivos gerados), use o cabeçalho de resposta HTTP: X-Robots-Tag: noindex, nofollow.
• Disallow por prefixo de caminho: se as páginas temporárias ficarem em prefixos de caminho previsíveis, bloqueie-as no robots.txt. Isso não garante a remoção de uma URL já indexada, mas as URLs novas deixam de ser rastreadas.
• Autenticação HTTP: para páginas de staging e preview, esta é a única forma confiável de isolamento total. O Googlebot não tem credenciais e não rastreará a página.

# robots.txt — patterns for temporary pages
User-agent: *

# Webinars and events
Disallow: /webinars/
Disallow: /events/draft-
Disallow: /landing/test-

# Mockups and previews
Disallow: /_preview/
Disallow: /mockups/
Disallow: /demo/

# A/B tests and experiments
Disallow: /*?variant=
Disallow: /*?experiment=
Disallow: /*?ab_test=

# Template preview parameters
Disallow: /*?preview=
Disallow: /*?draft=
Disallow: /*?revision=

Índice de sitemaps em grande escala

Com milhões de URLs, um único sitemap XML é impraticável: ele tem limite de 50.000 URLs e 50 MB. Um índice de sitemaps (Sitemap Index) é um arquivo de sumário que aponta para sitemaps filhos. Ele permite estruturar prioridades e direcionar o orçamento para onde ele é mais necessário.

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <!-- Priority sections — crawled first -->
  <sitemap>
    <loc>https://example.com/sitemap-products.xml</loc>
    <lastmod>2026-05-15</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://example.com/sitemap-categories.xml</loc>
    <lastmod>2026-05-15</lastmod>
  </sitemap>
  <!-- Lower-priority sections -->
  <sitemap>
    <loc>https://example.com/sitemap-blog.xml</loc>
    <lastmod>2026-05-10</lastmod>
  </sitemap>
  <!-- Do NOT include noindex pages or duplicates! -->
</sitemapindex>

• Separe os sitemaps por tipo de conteúdo: produtos, categorias, blog e páginas estáticas, cada um em um arquivo separado. Assim você vê as estatísticas de indexação por seção no GSC.
• Mantenha o lastmod honesto: o lastmod sinaliza frescor para o bot. Use a data da última mudança real, não a data de hoje; caso contrário, o bot deixa de confiar no sinal.
• Exclua as URLs bloqueadas: páginas com noindex ou Disallow não podem aparecer no sitemap, porque enviam sinais contraditórios ao bot.
• Limite de cada sitemap filho: cada arquivo filho tem no máximo 50.000 URLs ou 50 MB (comprimido). Divida em partes quando passar disso: sitemap-products-1.xml, sitemap-products-2.xml.

Configuração do servidor e limitação de taxa

O servidor afeta o orçamento de rastreamento nos dois sentidos: respostas lentas levam o Googlebot a reduzir a intensidade do rastreamento, enquanto erros 5xx fazem o bot esperar e desperdiçar tempo em novas tentativas. A otimização do servidor melhora diretamente a eficiência do rastreamento.

# Nginx: return 429 when any crawler sends too many requests
limit_req_zone $http_user_agent zone=crawlers:10m rate=10r/s;

location / {
    limit_req zone=crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... other settings
}

KPIs e monitoramento

O orçamento de rastreamento exige monitoramento contínuo: qualquer implantação pode expor, sem querer, milhares de URLs novas com parâmetros. Configure um painel semanal e uma revisão mensal dos indicadores a seguir.

• Semanal: compare as requisições de rastreamento do GSC da semana atual com a anterior. Um pico repentino indica novas duplicatas introduzidas por uma implantação recente.
• Mensal: verifique em GSC → Páginas o item “Descoberta – atualmente não indexada”. Crescimento com o tamanho do site inalterado indica problema de orçamento de rastreamento.
• Após cada implantação grande: rode o Screaming Frog no site e confira a contagem de URLs únicas. Compare com o snapshot anterior.
• Trimestral: análise completa dos logs de 30 dias. Procure novos padrões de URLs com parâmetros introduzidos pelo código atualizado.
• Alertas: configure uma notificação se as respostas 5xx ultrapassarem 1% de todas as requisições do Googlebot em um único dia.

Ganhos rápidos e roteiro

A otimização do orçamento de rastreamento não é uma tarefa pontual: é um processo. Divida o trabalho em ganhos rápidos (efeito em 1–2 semanas) e mudanças sistêmicas (1–3 meses).

Checklist de ganhos rápidos

• noindex adicionado a todos os templates de páginas temporárias (webinars, mockups, demos)
• Disallow para ?preview=, ?draft=, ?sessionid= e ?utm_ no robots.txt
• Canonical apontando para URLs limpas em todas as páginas com parâmetros (ordenação, paginação 2+)
• Páginas com noindex e Disallow removidas do sitemap
• Índice de sitemaps dividido por seção, com lastmod preciso
• Cadeias de redirecionamento reduzidas a um único salto
• 404 nos logs do Googlebot abaixo de 5% — links mortos removidos
• Painel semanal de monitoramento configurado no GSC

FAQ