AIクローラー
ai-bots-checkはrobots.txtを読み、AIのユーザーエージェントごとに許可か拒否かを表示します。クローラーには役割があります。Google-ExtendedやCCBotは、モデルの学習用にデータを集める学習クローラーです。PerplexityBotは、リアルタイムの回答で参照元を探す検索クローラーです。検索は許可し、学習は制限しているサイトも多く、役割の区別が重要です。
- GPTBot、ClaudeBot、PerplexityBot、Google-Extendedなど多数に対応
- 各クローラーに役割のラベルを表示
- 公開中のURLでも、貼り付けたrobots.txtのテキストでも実行可能
- /llms.txtファイルの確認はllms-txt-check

