Funcionamento e decisão
O robots.txt é um arquivo de texto público na raiz do site que define regras de rastreamento para user agents que as respeitam. As regras são específicas por caminho e por agente, então um prefixo amplo demais ou um arquivo mal formado servido pelo site pode bloquear mais do que o previsto.
Use o arquivo para decisões pontuais de acesso ao rastreamento, não para sigilo ou remoção dos resultados. Mantenha acessíveis os recursos necessários à renderização das páginas públicas e use noindex ou uma política de remoção adequada quando uma URL não puder aparecer na busca.
O que você pode controlar
O robots.txt não autentica visitantes nem garante a desindexação de URLs que o rastreador já conhece.
Fluxo prático
- Busque o arquivo na raiz do host canônico.
- Teste os prefixos reais e os grupos de user agent.
- Libere os recursos necessários para a renderização pública.
- Teste de novo depois de mudanças de host, framework ou CDN.
FAQ
A diretiva Disallow remove uma URL já indexada?
Ele controla o rastreamento, não a remoção do índice. Uma URL descoberta por fontes externas pode continuar conhecida por um mecanismo de busca.
O robots.txt serve para informações privadas?
Não. Proteja o conteúdo privado com autenticação ou outros controles de acesso.