Crawlers IA
ai-bots-check lit robots.txt et indique quels user-agents IA sont autorisés ou bloqués. Chaque crawler a un rôle. Les crawlers d'entraînement, comme Google-Extended et CCBot, collectent des données pour les modèles. Les crawlers de récupération, comme PerplexityBot, trouvent des sources pour les réponses en direct. Beaucoup de sites autorisent la récupération et limitent l'entraînement : cette distinction compte.
- GPTBot, ClaudeBot, PerplexityBot, Google-Extended et bien d'autres
- Chaque crawler étiqueté selon son rôle
- Fonctionne sur une URL en ligne ou sur le texte de robots.txt que vous collez
- llms-txt-check pour le fichier /llms.txt

