クロールは範囲を区切ったスナップショット
クローラーが示すのは、ある時点で、その設定でリクエストできた範囲です。開始URL、JavaScriptのレンダリング、上限、ユーザーエージェント、Cookie、除外設定によって、得られるデータセットが決まります。
リダイレクトチェーンやtitleタグの欠落は見つけられます。一方で、インデックス登録、コンバージョン、アルゴリズムが原因かどうかは証明できません。
クロールの設定
Startを押す前に、範囲を書き出します。正規ホスト、クロールの上限、レンダリングのモード、速度、除外するパスです。設定はエクスポートと一緒に保存します。
- 範囲を決めます。
- レンダリングのモードを選びます。
- 速度に上限を設けます。
- 最後まで実行します。
- 失敗したURLとスキップしたURLを記録します。
検出結果の確認
対処を決める前に、代表的な検出結果をブラウザーで開き、ヘッダーを確認します。クロールしたURLをサイトマップやSearch Consoleと比べるのは、リダイレクトとURLのバリエーションを正規化したあとです。
| 検出結果 | 公開中のページで確認すること | 推測してはいけないこと |
|---|---|---|
| 3xxのチェーン | 最終レスポンスとリンク | 順位低下の大きさ |
| canonicalの競合 | レンダリング後のタグとリンク先 | インデックス登録の状態 |
| 孤立ページの候補 | クロール結果と一覧の突き合わせ | 一致しないURLがすべて問題であること |
よくある間違い
エクスポートしたままのデータは、実装計画ではありません。JavaScriptのモード、認証、URLの正規化によって、結果が変わることがあります。
完了、一部のみ、失敗、スキップした範囲は、すべて見える状態で残します。クロールの入力が欠けていることは、問題なしを意味しません。
FAQ
クロールで、インデックス登録を証明できますか？
いいえ。クロールで分かるのは、クローラーから見えるサイトの挙動です。インデックス登録の確認には、検索エンジンの根拠が必要です。
JavaScriptのレンダリングは、いつ使いますか？
重要な経路やリンクがクライアント側のレンダリングに依存している場合です。モードによって範囲とコストが変わるため、使ったモードを記録します。
検出結果は、どう確認しますか？
代表的なURLを開き、公開中のレスポンス、レンダリング後のHTML、最終的なリンク先を確認します。