仕組みと判断
検索クローラーは、リンク、サイトマップ、過去に得た情報をもとにURLを発見してリクエストする自動化されたソフトウェアです。取得は初期の段階にすぎません。そのURLを後からレンダリングする、正規化する、インデックスに登録する、あるいはスキップする場合もあります。
公開する重要なURLには、直接の内部リンク、予測できるレスポンス、一貫したインデックス方針が必要です。robotsのルールは、ルールに従うクローラーの動きを制御します。ただしブロックしたURLでも、外部リンクから存在が知られることがあります。
サイト側で制御できること
クロールされてもインデックス登録は保証されず、インデックス登録されても検索結果での順位は保証されません。
実践の流れ
- 公開してインデックス登録させたいURLの範囲を明確にします。
- ボット固有の主張に基づいて動く前に、クローラーの身元を検証します。
- robots、レスポンス、レンダリング、canonicalのシグナルをあわせて確認します。
- 優先するURLを、リンクと最新のサイトマップで示します。
FAQ
クローラーが訪問したら、インデックス登録されたことになりますか？
いいえ。ページの取得、処理、検索への登録は別のステップです。
ユーザーエージェントヘッダーのクローラー名は信頼できますか？
それだけでは信頼できません。ユーザーエージェント文字列は偽装できます。重要なログ分析では、検索プロバイダーが示す検証方法を使ってください。