インデックス登録は、検索エンジンがクロール済みで対象となるページを分析し、検索結果に出せるように保存することがある処理です。
意味
クロールはURLを発見または取得し、レンダリングはコンテンツを解釈します。インデックス登録は、それとは別の、対象とするかどうかの判断です。
200のレスポンス、サイトマップのエントリー、クロールがあっても、インデックス登録は保証されません。
評価の方法
URL検査とクロールを使って、レンダリング後のレスポンス、robotsディレクティブ、canonicalの指定先、内部リンク、サイトマップへの登録を比べます。
実務の進め方
- ユーザーのタスクと、対象とするURLの範囲を定めます。
- URL検査とクロールを使って、レンダリング後のレスポンス、robotsディレクティブ、canonicalの指定先、内部リンク、サイトマップへの登録を比べます。
- 元に戻せる、最も小さな変更を選びます。
- インデックス登録の対象とするURLの集合を明確にし、発見を許可し、canonicalを一貫させ、noindexは意図して使います。
- レンダリング後の結果を再チェックし、測定の範囲と日付を残します。
判断と確認の具体例
実際の確認例として、商品フィルターのURLを考えます。200を返し、サイトマップに載り、内部リンクもありますが、canonicalは親カテゴリを指しています。正しい結論は、「フィルターが壊れている」ではありません。まず、絞り込んだビューが独自のインデックス登録可能なドキュメントにふさわしいかを判断します。そのためには、独自の検索ニーズ、十分な有用なコンテンツまたは在庫、安定した正規URLが必要です。そうでなければ、親カテゴリが代表URLとして意図されている可能性があります。
インデックス登録のマトリクスを明示して作業します。URLのクラスごとに、発見の経路、リダイレクト後のHTTPステータス、robotsでのアクセス可否、noindexの状態、canonicalの指定先、サイトマップへの登録、想定するインデックスの状態を記録します。このマトリクスで、矛盾する制御が見えるようになります。robots.txtでブロックされたnoindexのページは、クローラーがディレクティブを読めないため、noindexを確実に処理できません。この依存関係は、Googleのドキュメントにも明記されています。
確認は2段階で行います。レンダリング後のサイトをクロールして、制御を大規模にテストします。そのあと、代表的なURLを検索エンジン自身のツールで調べ、何が報告されるかを見ます。調べた日付と正確なURLを残します。インデックス登録には時間がかかることがあり、検索エンジンは複数のシグナルを使ってcanonicalを選びます。そのため、実装が正しくても、結果がすべてのレポートに反映されるまでには間があります。
限界とよくある誤り
robots.txtでのブロックだけでは、インデックスの制御にはなりません。