sitemap-crawlは、1つのサイトマップをURLツリーに展開します。入力はサイトマップのURLでもサイトのルートでも構いません。ルートを指定した場合は、robots.txtのSitemap行を読み、見つからなければ/sitemap.xmlを試します。クロールでは、crawl-site --sitemapがサイトマップのURLを起点にして結果を突き合わせます。--sitemap-onlyはサイトマップ記載のURLだけを取得し、--urlsまたは--urls-fileはリンクをたどらずに指定したリストを取得します。
監査では、サイトマップのURL集合とクロールで見つかったURL集合を比べます。サイトマップ内のリダイレクトするURL、リンク切れのURL、インデックス不可のURLと、サイトマップに載っていないインデックス可能なページを報告します。記載URLのレスポンスコードはクロールから得たもので、sitemap-crawlでは取得しません。
サイトマップのURLを1つ指定します。サイトマップインデックス、子サイトマップ、テキストのリスト、gzipファイルを、URLのエントリまでたどって読み取ります。
sitemap-crawlはサイトマップファイルを読み取り、記載されたエントリ、重複したエントリ、不正なエントリを報告します。記載URLごとのレスポンスコードが必要な場合は、crawl-site --sitemapまたは--sitemap-onlyでクロールします。
監査でサイトマップのURLとクロールしたページを突き合わせ、一致しない箇所を指摘します。
| チェック項目 | 意味 | 重要度 | 根拠 |
|---|---|---|---|
SITEMAP_URL_4XX_5XX | サイトマップのURLが4xxまたは5xxを返す | Critical | サイトマップのURLとそのステータスコード |
SITEMAP_URL_3XX | サイトマップのURLが200ではなくリダイレクトする | Important | サイトマップのURLとリダイレクトのステータス |
SITEMAP_URL_NON_INDEXABLE | サイトマップにインデックス不可のURLが載っている | Important | サイトマップのエントリ |
SITEMAP_DESYNC | サイトマップとクロールしたURLの集合が一致しない | Important | サイトマップの集合とクロール結果の集合 |
URL_NOT_IN_SITEMAP | インデックス可能なページがサイトマップに載っていない | Tip | クロールで得た正規URL |
SITEMAP_STALE_LASTMOD | サイトマップのlastmodが古い、または定型的な値になっている | Tip | サイトマップ内のlastmodの値 |
SITEMAP_URL_NON_CANONICALSITEMAP_ORPHANSITEMAP_URL_DUPLICATEDSITEMAP_TOO_MANY_URLSseohead sitemap-crawl --url https://example.com/sitemap.xml先にインストールします: インストールガイド。どのコマンドも、AIエージェント向けのMCPツールとして実行できます。