動作環境
SpiderHeadは、お使いのマシンで動作します。コアに必要なのはPythonといくつかのパッケージだけで、ほかはすべて任意です。
- Python 3.10以上
- macOS · Windows · Linux
- ホスト型アカウント不要
OSごとのコンポーネント
| コンポーネント | macOS | Windows | Linux | 必要なもの | 区分 | 備考 |
|---|---|---|---|---|---|---|
| コアパッケージ | 対応 | 対応 | 対応 | Python 3.10以上、pip、git | 必須 | プロジェクトの仮想環境にインストールします |
| CLI | 対応 | 対応 | 対応 | コアパッケージ | 必須 | ヘッドレス運用向けに、SSH経由のUbuntu Serverの手順を用意しています |
| MCPサーバー | 対応 | 対応 | 対応 | mcp extra、MCP SDK 1.29以上 | 任意 | ローカルのstdio。どのMCPクライアントでも使えます |
| デスクトップアプリ | .pkg | setup | tarball | OSごとのインストーラー | 任意 | コアは共通。スキャンはCLI・MCPと共有します |
| JSレンダリング | 対応 | 対応 | 対応 | PlaywrightのChromium（約150MB） | 任意 | レンダリングを伴うチェックでのみ必要です |
| Screaming Frog CLI | 対応 | 対応 | 対応 | 有効なSFライセンス | 任意 | SFのライブクロールを操作する場合のみ。エクスポートの分析には不要です |
| Dockerイメージ | 対応 | 対応 | 対応 | Docker | 任意 | スリム版は440MB、フル版は1.08GBです |
Minimum OS versions for the desktop app are a placeholder: fill from the release notes.
ディスク容量
| 項目 | サイズ | 必要になる場面 |
|---|---|---|
| すべてのextra入りのコア | 約860MB | 仮想環境。macOSで.[all]を指定して計測した値です |
| Chromium | 約150MB | JavaScriptのレンダリングでのみ必要です |
| Dockerイメージ | 440MB · 1.08GB | スリム版 · フル版 |
| スキャンの保存領域 | クロールに応じて増加 | 空き容量を1GiB以上確保し、履歴が20GiBを超えると警告します |
目安は約2GB
すべてのextra入りのコア、Chromium、最初のスキャン数回分の余裕を合わせた容量です。大規模なサイトではさらに必要です。スキャンの容量は、ページ数と、本文を保持するかどうかで変わります。
メモリと予算
大規模なクロールは、ユーザーが設定した予算の範囲内で実行されます。予算は、実行時間、ピーク時のメモリ、データベースのサイズです。予算に達した場合は、成功ではなく「ブロック」として停止します。
データソース
Search Console、GA4、Metrika、Webmaster、CrUXには、ユーザー自身の認証情報が必要です。読み取り専用で利用します。有料プロバイダーはデフォルトで無効です。
コアのクロールと監査に、プロバイダーの認証情報は不要です。