デスクトップアプリでは、URLを入力してStartを押すだけです。結果は、あとからプロジェクトとして保存できます。ターミナルでは、crawl-siteが開始URLからリンクをたどり、ネイティブのSQLiteスキャンを1つ書き出します。スキャンは、オフラインで開き直し、エクスポートし、再分析できます。同じクロールを、ローカルのMCPサーバー経由でseo_crawl_siteとしてAIエージェントからも使えます。
ネイティブのクロールは、すべての種類の証拠データを集めるわけではありません。クロールで集めていないデータが必要なチェックは、誤って問題なしとはせず、理由付きでスキップとして返します。各チェックの結果は、検出あり、検出なしで実行済み、スキップ、失敗のいずれかです。
デスクトップアプリで開始URLを入力するか、ターミナルでcrawl-siteを実行します。同一ホストのリンクをたどり、開き直せるネイティブのSQLiteスキャンを1つ書き出します。
ホストあたり毎秒約2リクエストで、遅延は状況に応じて調整されます。URLの上限は自分で設定でき、既定は200 URLです。
クロール結果は、インポートしたエクスポートと同じ182項目のチェックレジストリで確認します。ネイティブのクロールでは集められないデータが必要なチェックは、問題なしではなく、理由付きでスキップと表示されます。
| チェック項目 | 意味 | 重要度 | 根拠 |
|---|---|---|---|
BROKEN_PAGE_4XX | クロールしたページが4xxのレスポンスを返す | Critical | URLとレスポンスのステータス |
SERVER_ERROR_5XX | クロールしたページが5xxのレスポンスを返す | Critical | URLとレスポンスのステータス |
NO_RESPONSE | 応答がない：タイムアウト、DNS、または接続の失敗 | Critical | URLと失敗の理由 |
BROKEN_INTERNAL_LINK | 内部リンクが4xxのURLを指している | Critical | リンク元ページとリンク位置 |
REDIRECT_LOOP | リダイレクトチェーンが、すでに通ったURLに戻る | Critical | ループの経路 |
REDIRECT_CHAIN | 最終URLに着くまでに2ホップ以上のリダイレクトがある | Important | 各ホップとそのステータス |
BLOCKED_BY_ROBOTS | robots.txtがURLをブロックしているため、クロールで取得しなかった | Important | URLと、一致したrobots.txtのルール |
seohead crawl-site --url https://example.com --max-urls 500 --scan-out ./scans/audit.sqlite先にインストールします: インストールガイド。どのコマンドも、AIエージェント向けのMCPツールとして実行できます。