401 Unauthorized: significato e impatto SEO

Cos'è il 401 Unauthorized

Il 401 Unauthorized è uno status HTTP del gruppo 4xx (errori client) che il server restituisce quando una richiesta richiede autenticazione ma non ne è stata fornita oppure le credenziali non hanno superato la verifica. Insieme allo status, il server invia di solito un header WWW-Authenticate che indica quale metodo di autenticazione usare.

Il nome «Unauthorized» è leggermente fuorviante: riguarda in realtà la mancanza di autenticazione, non di autorizzazione. Un nome più accurato sarebbe «Unauthenticated», ed è esattamente il significato codificato nella RFC 9110.

401 vs 403: la differenza

Entrambi i codici indicano un rifiuto d'accesso, ma per ragioni diverse:

Impatto su SEO e indicizzazione

Quando Googlebot richiede un URL e riceve un 401, non può leggere il contenuto della pagina. Risultato: la pagina non viene indicizzata oppure esce dall'indice. Se il 401 compare su pagine pubbliche è un grave problema SEO:

• La pagina perde posizioni ed esce dall'indice nel giro di poche settimane.
• Il crawl budget viene sprecato: il crawler visita l'URL e non riceve nulla.
• Il valore dei link verso le pagine bloccate non viene passato oltre.
• Gli errori compariranno in Google Search Console sotto Copertura → Pagine escluse.

Cause comuni di 401 su pagine pubbliche

1. HTTP Basic Auth sull'intero sito o su una sezione. Spesso configurato sullo staging e poi dimenticato prima del lancio, oppure applicato per errore all'ambiente di produzione.
2. CDN o reverse proxy mal configurati. Il livello intermedio richiede un token o una firma che Googlebot non ha.
3. Token API scaduti. Le pagine generate via API con una chiave scaduta restituiscono 401 invece del contenuto.
4. Errore nel codice dell'applicazione. Un middleware o un guard richiede per errore l'autenticazione dove non dovrebbe.
5. WordPress o altro CMS dopo un aggiornamento. I plugin di protezione dei contenuti possono cambiare le impostazioni durante un update.

Come correggere il 401 su pagine pubbliche

Flusso di diagnosi e risoluzione:

1. Trova gli URL problematici via Google Search Console → Copertura oppure con un crawler (Screaming Frog).
2. Controlla il codice di risposta con curl: conferma che il problema sia riproducibile.
3. Individua dove è configurata l'autenticazione: server (Apache/Nginx), CDN o middleware dell'applicazione.
4. Rimuovi il requisito di autenticazione dagli URL pubblici oppure aggiungi un'eccezione per loro.
5. Se lo staging va protetto, aggiungi robots.txt con Disallow: / o limita l'accesso per IP.

# Check response code
curl -o /dev/null -s -w "%{http_code}\n" https://example.com/page
# Expected: 200 (or 301/302)
# If you see 401 — there is a problem

# Check with Basic Auth
curl -u login:password -o /dev/null -s -w "%{http_code}\n" https://example.com/page

# Apache — protect a directory while keeping public pages open
<Directory /var/www/html/admin>
    AuthType Basic
    AuthName "Admin Area"
    AuthUserFile /etc/.htpasswd
    Require valid-user
</Directory>

# Public pages are NOT touched — accessible without authentication

# Nginx — Basic Auth for /admin only, public pages remain open
server {
    # Public section
    location / {
        try_files $uri $uri/ =404;
    }

    # Protected section
    location /admin/ {
        auth_basic "Admin Area";
        auth_basic_user_file /etc/nginx/.htpasswd;
    }
}

// Next.js — API route with correct 401
import { NextRequest, NextResponse } from 'next/server';

export async function GET(request: NextRequest) {
  const token = request.headers.get('authorization');

  if (!token || !isValidToken(token)) {
    return NextResponse.json(
      { error: 'Authentication required' },
      {
        status: 401,
        headers: { 'WWW-Authenticate': 'Bearer realm="API"' },
      }
    );
  }

  return NextResponse.json({ data: 'protected content' });
}