検索エンジンのクローラーがURLを発見してリクエストし、コンテンツやシグナルを収集するプロセスです。クロールは、インデックス登録、ランキング、レポートとは別のものです。
判断と限界
クロールは、検索エンジンがリンク、サイトマップ、その他のシグナルからURLを発見し、リクエストする取得の段階です。取得に成功しても、そのページがインデックスに登録される、表示される、上位に出るとは限りません。逆に、インデックスに登録済みのURLが、変更の直後に取得されないこともあります。実際にやるべきことは、重要なURLを発見されやすく、アクセスしやすく、内部リンクでつなぎ、canonicalとインデックス制御の方針に沿った状態にすることです。
確認する項目
クロールの前に、URLのセットを定義します。テンプレート、重要なディレクトリ、サイトマップ、既知の旧経路です。レスポンスコード、最終URL、canonical、robotsディレクティブ、レンダリング後のコンテンツが取得できるか、クリック深度を記録します。クロールの出力は、サイトマップやSearch Consoleの根拠と比べます。ただし、それぞれの母集団を同じものとして扱ってはいけません。到達できなかったURLや計測できなかったURLは、明示して残します。
実践の進め方
重要なページには、関連するハブから通常のHTMLリンクを張ります。サイトマップは、最終的にインデックスさせるURLの宣言として使い、robotsのルールは、望むクロール方針と揃えます。再クロールを依頼する前に、レスポンスエラーとリダイレクトチェーンを直します。変更後は、範囲を区切った同じクロールをもう一度実行し、定めたサンプルについて、サーバーや検索の根拠を確認します。1つのURLだけで、サイト全体の結論を出してはいけません。
間違いと計測の限界
よくある混同は、クロールが順位の原因だと言うことや、robotsによるブロックをインデックス登録の解決策と考えることです。クロール、インデックス登録、ランキングは別の段階で、根拠もそれぞれ違います。200のレスポンスを合格と呼んでよいのは、ページの最終URL、canonical、表示されるコンテンツも確認してからです。
クロールの具体例。新しいカテゴリを公開するときは、正規URL、想定するレスポンス、親ハブからのリンク、サイトマップへの掲載、robotsの方針、レンダリングの要件を書き出します。ユーザーエージェントとレンダリングのモードを決めて、親ページとカテゴリをクロールし、取得したURLを想定した状態と比べます。クローラーがリダイレクト、ブロックされたリソース、別のcanonicalを見つけたら、カテゴリをクロールできたと言わずに、その状態を調べます。1つのURLをクロールしても、テンプレート群全体が発見されやすいことは示せません。
チェックの基準。役に立つクロールの記録には、開始セット、日付、レスポンスの扱い、レンダリングの前提、上限、失敗、URL正規化の方針を書きます。重要なURLでは、ステータス、リダイレクトチェーン、最終URL、canonical、インデックスのディレクティブ、リンク元、必要なコンテンツがレンダリングされたかを確認します。クロールの結果をサイトマップのエントリやSearch Consoleのカバレッジと比べるときは慎重に行います。答える問いも、タイムスタンプも違うことがあるためです。一致しなかった母集団は、見える状態で残します。
よくある間違い。 robots.txtでURLを隠しながら、noindexのルールが伝わると期待してはいけません。canonicalが誤っている、レンダリング後の本文が薄い、アセットがリダイレクトされているページを、200のレスポンスだからといって、正しいクロール対象と取り違えてはいけません。範囲を文書化せずに、クローラーが「すべてのページを見つけた」と言うのも避けます。レポートでは、発見、取得、インデックス登録、ランキングを切り分けたままにします。