意味と範囲
クロールバジェットは、検索エンジンがサイトに費やす意思と能力のあるクロール量を指す、実用上の呼び名です。Googleは、クロール需要とクロール容量を、このプロセスの重要な要素として説明しています。規模が大きいサイトや更新の多いサイトでは、特に重要です。重複URL、エラー、弱い内部リンクによる発見が、再クロールが本当に必要なページと競合するためです。
確認の方法
共通のクロール割り当てを探すのではなく、URLの集まりから始めます。インデックス登録できる正規のURL一覧を、ログやSearch Consoleのレポートで見つかったURLと比べます。パラメーターの組み合わせ、リダイレクト、ソフトエラー、内容の薄いページネーションのパス、孤立ページを探します。重要なURL群がすでに発見され、更新されているなら、クロール数が少ないこと自体は問題の証拠になりません。
- インデックス登録させたいURLの一覧を定義し、有用でもインデックス登録しない補助的なURLとは分けて管理します。
- 代表的なテンプレートをクロールし、重複するパターン、リダイレクトチェーン、エラー、正規ではないURLへのリンクを見つけます。
- 重要なページが、通常の内部リンクと最新のサイトマップから発見できるようにします。
- クロール容量の拡大を求める前に、意図しないURLの生成を減らします。
- 変更後にログや検索レポートを再確認し、確認できなかった根拠は「確認できず」と記録します。
実践的な判断
URLの品質と配信の安定性を優先します。重複しているルートを統合し、壊れた内部パスを修正し、正規ページに直接たどり着けるようにします。サイトマップは優先するページの宣言であり、クロールを保証するリクエストではありません。広い範囲をブロックするルールは、発見が必要なページまで隠すおそれがあります。変更は段階的に行い、結果を測定します。
限界と間違い
クロールバジェットは、小規模なサイトで調整するダイヤルではありません。有用なコンテンツやインデックス登録の可否の代わりにもなりません。重要でなさそうに見えるというだけでURLをブロックしてはいけません。そのURLが、レンダリング、ナビゲーション、正規URLの発見を支えていないかを先に確認します。サーバーが速くなればクロール容量は上がるかもしれませんが、生成されたすべてのURLがクロールに値するようになるわけではありません。