Crawler AI
ai-bots-check legge robots.txt e mostra quali user agent AI sono ammessi o bloccati. Ogni crawler ha un ruolo. I crawler di addestramento come Google-Extended e CCBot raccolgono dati per i modelli, e i crawler di reperimento come PerplexityBot trovano le fonti per le risposte live. Molti siti ammettono il reperimento e limitano l'addestramento, quindi i ruoli contano.
- GPTBot, ClaudeBot, PerplexityBot, Google-Extended e molti altri
- Ogni crawler etichettato per ruolo
- Funziona su una URL live o su testo robots.txt che incolli
- llms-txt-check per il file /llms.txt

