robots-checkはrobots.txtを取得し、ユーザーエージェントのグループ、宣言されたサイトマップ、指定したパスがクロール可能かどうかを報告します。404などの4xxは、robots.txtがないものとして扱い、クロールを許可と判定します。429や5xxはエラーです。確認できなかったアクセスを、許可とは報告しません。
監査では、ページ単位のnoindex、nofollow、nosnippet、unavailable_afterを、X-Robots-Tagヘッダーとあわせて読み取ります。head要素の外に置かれたrobotsメタディレクティブも検出します。その位置では効果がないためです。robots.txtが制御するのはクロールで、インデックス登録ではありません。そのため、これらのディレクティブは別にチェックします。
含めるパターンと除外するパターン、名前付きセグメント、拡張子フィルター、深度の上限、URL数の上限で、クロールが取得するページを決めます。
クロールごとに、robots.txtに従う、ブロック内容を報告するだけにする、無視する、のいずれかを選べます。フラグは--robotsで、respect、report_only、ignoreを指定します。
robots-checkは、1つのユーザーエージェントについてファイルを読み、グループとサイトマップを一覧にします。特定のパスをテストするには、--input JSONか、MCPツールのseo_robots_checkで渡します。
| チェック項目 | 意味 | 重要度 | 根拠 |
|---|---|---|---|
IMPORTANT_URL_BLOCKED_BY_ROBOTS | 内部リンクを受けている公開中のページが、robots.txtでブロックされています。リンクが発見に役立たず、クロールの経路からページが外れます。robots.txtがブロックするのはクロールで、インデックス登録ではありません。 | Important | ブロックされたURL、そのURLを指す内部リンク、該当するDisallowルール |
BLOCKED_BY_ROBOTS | URLがrobots.txtでブロックされています。意図したブロックか確認してください。 | Important | ブロックされたURLと、該当するルール |
ROBOTS_BLOCKS_RESOURCES | レンダリングに必要なJavaScriptやCSSがrobots.txtでブロックされており、検索エンジンがページを不完全にレンダリングする場合があります。 | Tip | ブロックされた.jsまたは.cssのURLと、ブロックしているルール |
DIRECTIVES_OUTSIDE_HEAD | robotsメタディレクティブがhead要素の外にあるため、適用されません。その位置にあるnoindexやnofollowは、効果がありません。 | Critical | ドキュメント内で、ディレクティブの直前にある要素 |
UNAVAILABLE_AFTER | ページにunavailable_afterディレクティブがあり、指定の日付にインデックスから削除されます。 | Important | ディレクティブの値と日付 |
NOINDEX | ページにnoindexディレクティブがあります。インデックスから外れることが意図どおりか確認してください。 | Tip | ディレクティブの出どころ：メタrobotsまたはX-Robots-Tag |
SITEMAP_NOT_IN_ROBOTS | robots.txtにSitemapディレクティブがありません。サイトマップの絶対URLで追加すると、クローラーが見つけやすくなります。 | Tip | robots.txtで見つかったSitemapディレクティブ |
NOSNIPPETseohead robots-check --url https://example.com/先にインストールします: インストールガイド。どのコマンドも、AIエージェント向けのMCPツールとして実行できます。