KI-Crawler
ai-bots-check liest die robots.txt und zeigt, welche KI-User-Agents erlaubt oder gesperrt sind. Jeder Crawler hat eine Rolle. Trainings-Crawler wie Google-Extended und CCBot sammeln Daten für Modelle, Abruf-Crawler wie PerplexityBot finden Quellen für Live-Antworten. Viele Websites erlauben den Abruf und schränken das Training ein, deshalb ist die Rolle entscheidend.
- GPTBot, ClaudeBot, PerplexityBot, Google-Extended und viele weitere
- Jeder Crawler mit seiner Rolle gekennzeichnet
- Funktioniert mit einer Live-URL oder mit eingefügtem robots.txt-Text
- llms-txt-check für die Datei /llms.txt

