Bystrobotは、鮮度が重要なページに対するYandexの高速再クロールの動きを指す言葉として、一般に使われています。名前よりも、運用上の考え方のほうが限定的です。サイト所有者は、重要な新規または変更のURLをYandexに知らせることができ、Yandexは通常のクロールのスケジュールよりも早く取得する場合があります。これはクロール管理の仕組みです。ページを検索結果に公開するスイッチではありません。
Bystrobotとは
Yandexは、ウェブマスターでクロール統計、ページ確認、再クロールのリクエストを文書化していますが、すべてのページに固定の高速クロールのスケジュールは約束していません。「Bystrobot」は、特定の重要なURLを、より早く再訪してもらうことの略称と考えます。通常のクロールでは、重要な変更にまだ気づいていないかもしれない場合に、特に関係します。対象は、新しく公開したページ、修正したレスポンスステータス、重要なコンテンツの改訂、リダイレクトの置き換えです。通常の編集のすべてが対象ではありません。
| シグナル | 分かること | 証明できないこと |
|---|---|---|
| 再クロールのリクエストが受理された | Yandexが、再検討のためのURLを受け取った。 | URLが取得された、またはインデックスに登録されたこと。 |
| 新しいクロールの記録 | クローラーがURLをリクエストし、レスポンスを受け取った。 | コンテンツが検索の対象になること、または古い結果を置き換えたこと。 |
| 検索でのページのステータス | Yandexが、ページの現在の検索への参加状況、または除外の理由を報告している。 | 順位やトラフィックの結果。 |
再クロールのリクエストと確認
確認した正規URLに対して、Yandexウェブマスターの再クロールのオプションを使います。パラメーター付きのバリエーション、リダイレクトされるURL、まだ編集する予定のページは送信しません。リクエストに意味があるのは、公開前のチェックで、クローラーに何が見えるべきかが確定したあとだけです。
- ブラウザーで公開URLそのものを開き、意図したコンテンツとHTTPステータスを確認します。
- ページのcanonical、robotsディレクティブ、内部リンクを確認します。検索対象にしたいなら、推奨するサイトマップに残します。
- ウェブマスターの再クロール機能から、正規URLを送信します。
- 後で、クロール統計やページ確認の結果で、Yandexが実際に受け取ったレスポンスを確認します。
- それでもページが検索に表示されない場合は、再度送信する前に、示された除外の理由や技術的な理由を確認します。
取得とインデックス登録は別
クロール、処理、結果の表示は、それぞれ別の出来事です。クローラーがページを取得しても、その後に除外されたままのことがあります。リダイレクトされる、エラーを返す、別の正規URLと競合する、インデックス登録をブロックされている、重複と判断される、検索データベースにまだ選ばれていない、といった理由です。反対に、システムが更新されるまで、古いバージョンが表示され続けることもあります。
- クロールの根拠
- YandexがURLを取得したことを示す、タイムスタンプ、レスポンスコード、リクエストの記録。
- インデックス登録の根拠
- URLが検索に参加しているか、していない場合はその理由を説明する、ウェブマスターのページステータスのレポート。
- 成果の根拠
- 別の検索パフォーマンスのデータです。再クロールやクローラーの訪問から推測してはいけません。
運用上の線引き
クロールの負荷を上げる前に、そのURLがなぜ急ぎの対応を必要としているのかを調べます。同じURLを繰り返しリクエストすると、本当の不具合が隠れることがあります。エラーのレスポンス、古い内部リンク、ブロックされたルール、重複したアドレス、誤ったバージョンを宣言しているサイトマップなどです。Yandexは、過剰なボットのトラフィックについて、クロール統計とサーバーログで調べるよう勧めています。リクエスト数から推測せず、無駄な重複URLや技術的なURLを修正します。
- 直接の最終URLを使います。リダイレクトチェーンや、一時的な作業用のアドレスはリクエストしません。
- 再クロールのリクエストは、重要な変更と、本当に時間に敏感なページのために取っておきます。
- クロールのデータでサーバーのレスポンスを確認し、インデックスへの登録状況は、ページステータスで別に診断します。
- クロールの負荷が気になる場合は、クロール速度の設定を変える前に、重複URLと技術的なURLを確認します。
よくある間違いは、「高速ボット」をインデックス登録の保証として扱うことです。実務の流れは地味で、検証できます。意図したページを見つけられる状態にして技術的に整合させ、重要なときは再訪をリクエストします。成果を作り上げず、各段階の根拠を残します。