クロールは、指定した上限に達すると停止します。上限は、URL数（既定は200）、リンク深度（既定は5）、HTTPリクエストの試行回数の合計、任意で設定する実時間のバジェットです。URLのパターン、ファイル拡張子、メディアタイプによる対象と除外のルールで、範囲を絞ることもできます。プロジェクトのバジェットを超えるには、--approve-large-crawlが必要です。
ネットワークのツールは、名前で許可しない限り、プライベートやローカルの接続先をブロックします。クローラーが、指定したサイトに送るのは、範囲を限定した読み取り専用のリクエストだけで、User-Agentで自分の身元を名乗ります。また、タイムアウトが5回連続すると、自動的に停止します。
--max-urlsで、クロールが取得するページ数の上限を設定します（既定は200）。プロジェクトのバジェットを超えるには、--approve-large-crawlが必要です。
既定の待ち時間は、リクエスト間で0.5秒です。ホストあたり1秒に約2リクエストになります。--max-urls-per-secondで速度を設定でき、サーバーに余裕がないときは、適応型のバックオフがクロールを遅くします。
robots.txtは既定で順守されます。プライベートやローカルのアドレスは、名前で許可するまでブロックされたままです。
| チェック項目 | 意味 | 重要度 | 根拠 |
|---|---|---|---|
SLOW_RESPONSE | サーバーの応答に1.5秒を超える時間がかかった | Important | ページごとの応答時間と、1.5秒のしきい値との比較 |
BLOCKED_BY_ROBOTS | URLがrobots.txtでブロックされている | Important | クロールまたはSFのエクスポートで見つかったブロック対象のURL |
IMPORTANT_URL_BLOCKED_BY_ROBOTS | 内部リンクを受けているページがrobots.txtでブロックされており、リンクの発見がそこで止まる | Important | ブロックされているURLと、その内部リンク |
ROBOTS_BLOCKS_RESOURCES | ページのレンダリングに必要なJavaScriptやCSSが、robots.txtでブロックされている | Tip | ブロックされているリソースのURL |
SITEMAP_NOT_IN_ROBOTS | robots.txtにSitemapディレクティブがない | Tip | robots.txtの内容 |
seohead crawl-site --config-help先にインストールします: インストールガイド。どのコマンドも、AIエージェント向けのMCPツールとして実行できます。