Rastreadores de IA
ai-bots-check lee robots.txt y muestra qué user agents de IA están permitidos o bloqueados. Cada rastreador tiene una función. Los rastreadores de entrenamiento, como Google-Extended y CCBot, recogen datos para los modelos, y los de recuperación, como PerplexityBot, buscan fuentes para las respuestas en directo. Muchos sitios permiten la recuperación y restringen el entrenamiento, así que la función importa.
- GPTBot, ClaudeBot, PerplexityBot, Google-Extended y muchos más
- Cada rastreador, etiquetado según su función
- Funciona con una URL en vivo o con el texto de robots.txt que pegues
- llms-txt-check para el archivo /llms.txt

