ИИ-краулеры
ai-bots-check читает robots.txt и показывает, каким ИИ-агентам доступ разрешён, а каким закрыт. У каждого краулера своя роль. Краулеры обучения, такие как Google-Extended и CCBot, собирают данные для моделей. Краулеры для ответов, например PerplexityBot, находят источники для ответов в реальном времени. Многие сайты разрешают получение ответов и закрывают обучение, поэтому роль важна.
- GPTBot, ClaudeBot, PerplexityBot, Google-Extended и многие другие
- Каждый краулер с меткой его роли
- Работает с живым URL или с текстом robots.txt, который вы вставите
- llms-txt-check для файла /llms.txt

