意味と範囲
クロール、インデックス登録、ランキングは、つながってはいますが、別々の段階です。クローラーは、URLをインデックスに登録せずにリクエストすることがあります。インデックスに登録されたドキュメントが、あるクエリでは表示され、別のクエリでは表示されないこともあります。検索結果での位置は、その後、特定のクエリと文脈に対して決まります。表示されないケースをすべてランキングの問題と呼ぶと、本当の診断が見えなくなります。
実務の進め方
重要なURLについては、まず次の点を確認します。意図した公開コンテンツを返しているか。クロールが許可されているか。noindexディレクティブが付いていないか。意図したcanonicalを使っているか。アクセスできる発見の経路からリンクされているか。サイトマップへの登録は発見を助けますが、インデックス登録の保証ではありません。重複、ソフトエラー、利用できない状態が結果の理由になっていないかも調べます。
確認する点
確認するときは、正確なURLと日付を使います。Google Search ConsoleのURL検査とページのインデックス登録レポートは、Googleから見た状況の有用な手がかりになります。ブラウザーとクロールのサンプルでは、サイトが現在何を返しているかを確認できます。現在のライブテストと過去のレポートは分けます。そうしないと、古いステータスのデータを、新しいデプロイの失敗と取り違えかねません。
限界とよくある誤り
URLを送信した、リンクされている、サイトマップに載っている、というだけで、インデックス登録を約束してはいけません。robots.txtでURLをブロックしておきながら、そのブロックされたレスポンスのnoindexタグが処理されると期待するのも誤りです。役立つ成果は、理由を説明でき、技術的に対象になり、矛盾するシグナルのないページです。
インデックスの診断：URLを1つずつ
「インデックス未登録」という大まかなラベルではなく、URLごとのワークシートを使います。リクエストしたURL、最終的なレスポンス、canonicalタグ、robotsメタタグとX-Robots-Tag、コンテンツの状態、内部リンクの元、サイトマップの状況、確認した日付を記録します。これで、アクセス上の不具合、重複に関する判断、コンテンツの品質の問題を切り分けられます。また、canonicalの代替ページ、意図的にnoindexにしたフィルター、不明なURLが、同じ失敗として数えられることも防げます。
- ログインしていないセッションでURLを取得し、最終的なステータスと、レンダリング後のメインコンテンツを記録します。
- URLのクロールが許可されているか、インデックス登録とcanonicalの方針が自己矛盾していないかを確認します。
- 関連するハブから、クロール可能な内部の経路を見つけ、サイトマップのエントリーが同じ最終的な正規URLを使っているか確認します。
- 利用できる場合はSearch ConsoleでURLを検査し、レポートの日付とGoogleが示した理由を保存します。
- 対象を絞った修正を1つ行い、そのあとライブとレポートの確認を繰り返します。すべてのURLを何度も送信することはしません。
実際の例はカテゴリのフィルターです。フィルターに独自の在庫も検索意図もなければ、親カテゴリへ正規化するか、noindexを使うのが意図した方針です。独自の対象となる在庫とユーザーの目的があるなら、安定したURL、自己矛盾のないcanonical、内部の発見経路、親との違いを示すコンテンツが必要です。正しい結果は方針によって異なります。生成されたすべてのURLをインデックスに登録することは、目的ではありません。
確認には、小さなルートのマトリクスを含めます。通常のコンテンツページ、パラメーター付きのバージョン、廃止したURL、意図的に除外するページです。これで、システムが状態を区別できることを証明できます。Googleは、インデックス登録がクロールと分析のあとに行われると説明しています。そのため、アクセスできるページでも、省かれたり、重複ページとクラスタリングされたりすることがあります。サイトマップやリクエストで登録が保証されるとは言わず、この不確実性をはっきり書いておきます。
根拠の記録は、行動に移せるくらいに絞ります。重要なURL10件の、日付入りのサンプルを、ライブのステータスとインデックス登録の方針で分類しておくほうが、ラベルのない数千件の「除外」ページの件数よりも役立ちます。リリースのあとに同じサンプルをもう一度見て、想定外に変わったクラスだけを調べます。
変更を調べるときは、新しい観察結果だけでなく、古い観察結果も残します。レポートに表示される理由が、返しているレスポンスより遅れることがあります。また、現在の取得が正常でも、重複ページとしてクラスタリングされていることがあります。同じURL、canonicalの方針、クローラーの状態を時間をおいて比べれば、あとのレポートの更新を、原因不明の技術的な巻き戻しと取り違えずに済みます。