意味
リクエストは有効で、リソースも存在する可能性があるものの、サーバーが提供を拒否している状態です。原因には、IPのブロック、ファイアウォールのルール、ボットのフィルター、位置情報、権限があります。クローラーにとって403は行き止まりで、ページの内容は一切見られません。
SEOで重要な理由
- 検索エンジンのクローラーが403を受け取ると、そのURLはインデックスから外れます。非公開エリアでは意図どおりですが、WAFのルールが誤ってGooglebotをブロックすると深刻な事態になります。
- すでにインデックス登録されていたURLの403は、通常、Search Consoleのカバレッジエラー（「サーバーエラー（403）」）や除外されたページとして表れます。
- コンテンツを返さず、クローラーに403でチャレンジを返すボット対策は、セキュリティ機器の導入後に検索順位を落とす典型的な原因の1つです。
原因の調べ方
実際のユーザーに見えるものと、クローラーに見えるものを比較します。ユーザーエージェントやIPを変え、Cookieの有無も変えて、同じURLを取得します。Googlebotには403が返り、ユーザーには200が返る場合は、ブロックしているルールを確認し、Search ConsoleのURL検査で、Googleが受け取る内容を確かめます。
クロールには、偽りのないユーザーエージェントを使います。SpiderHeadはスキャンごとにクローラーの識別情報を設定できます。検索ボットが受け取る内容を再現するための機能で、Googlebotを装うためのものではありません。
FAQ
403はSEOに悪影響がありますか？
意図しない場合だけです。非公開のURLや管理画面のURLを意図的にブロックするのは正しい対応です。一方、公開コンテンツで検索クローラーに誤って403を返すと、そのページはインデックスから外れます。
403は401とどう違いますか？
401 Unauthorizedは、認証が必要なのに提示されていないことを示し、ログインすれば解決する可能性があります。403は、認証情報に関係なく、サーバーがこのクライアントを拒否していることを示します。