仕組みと判断
robots.txtは、ルールに従うユーザーエージェントにクロールのルールを伝える、ルート直下の公開テキストファイルです。ルールはパスとエージェントごとに指定します。プレフィックスが広すぎたり、配信されるファイルの記述が崩れていたりすると、意図以上のURLをブロックすることがあります。
使いどころは、クロールの可否を絞って指定する場面です。情報を隠す目的や、検索結果からの削除には向きません。公開ページのレンダリングに必要なリソースはアクセスを許可したままにします。URLを検索結果に表示させたくない場合は、noindexや削除の手続きなど適切な方法を使います。
制御できること
robots.txtには訪問者を認証する機能がありません。クローラーがすでに把握しているURLが、インデックスから確実に消えるわけでもありません。
実践の手順
- 正規ホストのルートにあるファイルを取得します。
- 実際のプレフィックスとユーザーエージェントのグループをテストします。
- 公開ページのレンダリングに必要なリソースを許可します。
- ホスト、フレームワーク、CDNを変更したら再テストします。
FAQ
Disallowを指定すると、インデックス登録済みのURLは削除されますか？
Disallowが制御するのはクロールで、インデックスからの削除ではありません。外部から見つかったURLは、検索エンジンに把握されたままになることがあります。
robots.txtで非公開情報を守れますか？
向きません。非公開の情報は、認証などのアクセス制御で守ります。