ログ分析とは
ログに記録されるのは、サーバーに届いたリクエストです。インデックス登録、検索順位、レンダリングに関する判断のすべてが、直接分かるわけではありません。ボットの識別方法と、ログの保存期間の制限も考慮する必要があります。
ログ分析は、サーバーのリクエスト記録を調べ、クローラーが実際にURLへどうアクセスしているかを確認します。取得できたログの期間内で、観測されたクロールの経路、レスポンスコード、無駄なリクエストが分かります。
実務での確認手順
期間を区切ってログを入手し、タイムスタンプ、URL、ステータスコード、ユーザーエージェント、バイト数を解析します。続いてクエリパラメーターを正規化し、確認済みのクローラーのトラフィックを通常のリクエストから切り分けます。
確認項目
クローラーのリクエストのパターンを、正規URLの一覧、サイトマップ、内部リンク、サーバーのレスポンスと比べます。大きな結論を出す前に、生のログのエントリを一部抜き出して確認します。
限界とよくある間違い
クロールされていないURLはインデックスから削除されている、と推測してはいけません。偽装されたユーザーエージェントを検索クローラーと取り違えることも避けます。
筋の通ったログ分析は、アクセス権とプライバシーの境界を決めることから始まります。クロールの分析に必要なフィールドだけに絞り、期間を決め、訪問者の生データは共有せず、集計した結果を残します。再現できる表に解析し、既知のURL一覧と比べられるパターンだけを調べます。例えば、パラメーター付きURLが急増していても、それはURLの発見と制御に関する疑問であり、まだクロールバジェットの問題の根拠にはなりません。
元のリクエストを保持する
生のリクエストURLとステータスは、変更しない証拠として保持します。パラメーター、パス、ボット、レスポンスの区分ごとに、グループ分け用の派生フィールドを作ります。ログがエッジやCDNのものか、オリジンのものかも特定します。オリジンへのリクエストがないのは、クローラーがページをリクエストしなかったのではなく、キャッシュの処理による可能性があります。