Rastreadores de IA
O ai-bots-check lê o robots.txt e mostra quais user agents de IA são permitidos ou bloqueados. Cada rastreador tem uma função. Os rastreadores de treinamento, como Google-Extended e CCBot, coletam dados para modelos, e os rastreadores de recuperação, como o PerplexityBot, encontram fontes para respostas em tempo real. Muitos sites permitem a recuperação e restringem o treinamento, por isso a função de cada um importa.
- GPTBot, ClaudeBot, PerplexityBot, Google-Extended e muitos outros
- Cada rastreador identificado pela função
- Funciona com uma URL ativa ou com o texto do robots.txt que você colar
- llms-txt-check para o arquivo /llms.txt

