O que é o Googlebot
O Googlebot é um rastreador, não uma simulação de visitante que garante a indexação de todas as URLs. O Google documenta variantes do Googlebot para celular e para desktop, mas muitos sites são avaliados principalmente pelo rastreador de celular. A descoberta, a rastreabilidade, o código de status, a renderização e a seleção para o índice são etapas relacionadas, mas distintas.
Regra de decisão e evidências
Controle o que um rastreador pode obter com regras de acesso e do robots.txt; controle a indexação com diretivas de indexação e com a política do conteúdo. Um sitemap é uma dica de descoberta, não um comando de indexação, e a string de user agent sozinha não comprova que a requisição veio do Google.
Fluxo de trabalho prático
User-agent: Googlebot
Disallow: /private/
# Index control is separate: use noindex on a crawlable page when appropriate.A descoberta do Googlebot normalmente começa pelos links rastreáveis, e os sitemaps oferecem uma lista adicional de URLs. Navegação em JavaScript sem destinos href comuns, páginas só para login e recursos bloqueados podem impedir que o Google veja o mesmo caminho ou o mesmo conteúdo renderizado que um usuário vê no navegador.
- Defina separadamente os conjuntos de URLs públicas, rastreáveis e indexáveis que você deseja.
- Inspecione as regras do robots.txt, o código HTTP, as tags canonical e as barreiras de login em URLs principais.
- Ofereça links internos consistentes e um sitemap com as URLs indexáveis preferidas.
- Verifique o tráfego de rastreamento suspeito pelo método de verificação documentado pelo Google, em vez de confiar em um cabeçalho.
- Use o Search Console e os logs como evidências complementares, guardando datas e escopo.
Verificação e erros comuns
Registre quais URLs foram testadas, o user agent ou a origem verificada quando aplicável, o status, o resultado do robots e as dependências renderizadas. Identifique como indisponível toda evidência que não puder ser obtida, em vez de presumir um rastreamento bem-sucedido.