noindexの意味
noindexが制御するのは、インデックスでの表示です。アクセス制限ではありません。機密性の高い内容には、認証をかけるか、公開を取りやめる必要があります。robots.txtはクロールに対する指示であり、クローラーがmeta noindexを読めなくなる場合があります。
noindexは、対応する検索クローラーに、ページやリソースを検索結果に表示しないよう求めるrobotsディレクティブです。URL自体は、訪問者やリンクからアクセスできるままです。
確認の実務フロー
HTMLページにはmeta robots、HTML以外のリソースにはX-Robots-Tagを選びます。ディレクティブはクローラーから見える状態にし、ページをインデックスに登録するかどうかの意図を明確にします。
検証する項目
レンダリング後のHTMLとレスポンスヘッダーを取得してディレクティブを確認し、URL検査を確認します。そのうえで、再クロールの時間を置いてから、削除されたかどうかを判断します。
限界とよくある誤り
robots.txtでURLをブロックしたうえで、Googleがnoindexを確実に読むと期待してはいけません。noindexをプライバシー保護の手段として使うのも誤りです。
noindexを追加する前に、URLをアクセス可能なまま検索に出さない、ビジネス上とユーザー上の理由を整理します。よくある例は、内部検索結果ページ、一時的なキャンペーンの状態、ステージング環境です。そのうえで適切な配信方法を選び、回帰チェックを加え、解除する条件を記録します。ステージングでは、noindexをリリース時のゲートの1つとして、アクセス制限や本番への準備確認と併せて扱います。機密情報を守る唯一の手段にしてはいけません。
ディレクティブの見つかり方
HTML文書では<meta name="robots" content="noindex">を、HTTPレスポンスではX-Robots-Tag: noindexを使います。ヘッダーはHTML以外のリソースにも指定できます。Googleがnoindexを見つけるためにクロールする必要があるURLは、robots.txtでブロックしないでください。