meta robotsディレクティブは、noindex、nofollow、スニペットの制御といった判断を表します。クロールを制限するrobots.txtとは異なり、優先する重複URLを示すcanonicalとも異なります。
実装の進め方
最初に、インデックス登録の方針を書き出します。公開するURL、アクセスはできるが除外するURL、重複の扱いを定義します。CMSまたはテンプレートで、一貫した1つのディレクティブを適用し、最終的なレスポンスで確認します。PDFのようなHTML以外のファイルには、X-Robots-Tagを使います。
確認項目
レンダリング後のマークアップ、レスポンスヘッダー、クロールの許可を確認します。ディレクティブが、意図した正規URLのバリエーションにあり、必要なナビゲーションやサイトマップのURLにないことも確かめます。キャッシュやテンプレートの条件で出力が変わることがあるため、デプロイ後に再チェックします。
よくある間違い
robots.txtでURLをブロックしながら、そのURLのmeta noindexが読まれると期待してはいけません。nofollowを、内部リンク全般の方針として使うのも避けます。
FAQ
meta robotsの主な目的は何ですか？
meta robotsディレクティブは、noindex、nofollow、スニペットの制御といった判断を表します。クロールを制限するrobots.txtとは異なり、優先する重複URLを示すcanonicalとも異なります。
どう確認すればよいですか？
レンダリング後のマークアップ、レスポンスヘッダー、クロールの許可を確認します。ディレクティブが、意図した正規URLのバリエーションにあり、必要なナビゲーションやサイトマップのURLにないことも確かめます。キャッシュやテンプレートの条件で出力が変わることがあるため、デプロイ後に再チェックします。