Googlebotとは
Googlebotはクローラーです。訪問者の動きを再現するもので、すべてのURLがインデックスに登録されることを保証するものではありません。Googleのドキュメントには、モバイル版とデスクトップ版のGooglebotがあると記載されており、多くのサイトは主にモバイル版のクローラーで評価されます。発見、クロールの可否、レスポンスのステータス、レンダリング、インデックスの選択は、関連しながらも別々の段階です。
判断基準と根拠
クローラーが取得できる範囲は、アクセス制御とrobotsのルールで管理します。インデックス登録は、インデックス登録に関するディレクティブとコンテンツのポリシーで管理します。サイトマップは、URLを見つけてもらうためのヒントであり、インデックス登録の命令ではありません。ユーザーエージェントの文字列だけでは、リクエストがGoogleからのものだという証拠にはなりません。
実務の進め方
text
User-agent: Googlebot
Disallow: /private/
# Index control is separate: use noindex on a crawlable page when appropriate.Googlebotによる発見は、通常、クロール可能なリンクから始まり、サイトマップがURLの一覧を補います。通常のhrefの指定先がないJavaScriptのナビゲーション、ログインが必要なページ、ブロックされたリソースがあると、ブラウザーで見る人と同じ経路やレンダリング後のコンテンツをGoogleが確認できなくなることがあります。
- 公開してよいURL、クロール可能なURL、インデックス登録できるURLの集合を、それぞれ別に定めます。
- 代表的なページについて、robotsのルール、HTTPステータス、canonicalタグ、ログインによる制限を確認します。
- 一貫した内部リンクと、インデックス登録したいURLだけを載せたサイトマップを用意します。
- 不審なクロールのトラフィックは、ヘッダーを信用せず、Googleが文書化した確認方法で検証します。
- Search Consoleとログは補い合う根拠として使い、日付と範囲を記録します。
確認方法とよくある誤り
どのURLをテストしたか、必要に応じてユーザーエージェントまたは検証済みの発信元、ステータス、robotsの結果、レンダリングに必要な依存リソースを記録します。確認できない根拠は、確認できないと書き、クロールが成功したと推測しません。
robots.txtでURLをブロックしても、そのURLが検索結果から確実に消えるわけではありません。クロール頻度の観察結果から、検索順位についての結論を出すのは避けます。
FAQ
Googlebotを名乗るリクエストはすべて本物ですか？
いいえ。重要なクローラーのトラフィックは、ユーザーエージェントの文字列だけを信用せず、Googleが公開している確認方法で検証してください。
Googlebotが訪問すれば、ページはインデックスに登録されていますか？
いいえ。リクエストがあったことは、取得が行われたことを示すだけです。インデックス登録と、クエリに対する表示の選択は、別に行われます。