X-Robots-Tagは、URLに対するインデックス登録やスニペットの指示をクローラーに伝えるHTTPレスポンスヘッダーです。HTMLのメタタグが使えない場合に特に役立ちます。X-Robots-Tagが制御するのは、HTTPレスポンスの層における、対象クローラーの挙動です。URL、canonical、アクセスに関する方針の代わりにはならず、robots.txtとは別の制御手段です。
定義と境界
X-Robots-Tagが制御するのは、HTTPレスポンスの層における、対象クローラーの挙動です。URL、canonical、アクセスに関する方針の代わりにはならず、robots.txtとは別の制御手段です。
実践の流れ
- そのURLをインデックスに登録するか、スニペットを表示するか、リンクをたどらせるか、特定のクローラーの検索結果から外すかを決めます。
- 指示は、途中のリダイレクトだけでなく、意図した最終レスポンスで返します。
- 公開されている経路をたどるリクエストでヘッダーを確認し、最終的なステータスコードを記録します。
- HTMLのメタrobotsとヘッダーの指示が矛盾していないか確認します。
- CDN、キャッシュ、アプリケーションを変更したあとは再テストします。ヘッダーが書き換えられることがあります。
FAQ
X-Robots-TagはHTMLページにも使えますか？
使えます。HTTPヘッダーは、PDFなどのファイルだけでなくHTMLにもrobotsの指示を適用できます。
クローラーがヘッダーを読めなくなる原因は何ですか？
クロールのブロックやアクセスできないリソースがあると、取得自体ができません。クローラーが実際に取得できるレスポンスを確認します。