Cos'è il crawl budget
Il limite di risorse che un motore di ricerca dedica alla scansione del tuo sito. Particolarmente importante per i siti con più di 10.000 pagine.
Perché conta
Se il crawler spreca tempo su filtri duplicati o URL di sessione, potrebbe non indicizzare i nuovi prodotti utili. Ottimizzare il budget significa bloccare la spazzatura in robots.txt e migliorare i link interni.
Fattori che incidono sul budget
- Popolarità del sito: più backlink, budget più alto
- Velocità di risposta del server: risposte lente riducono il budget
- Quantità di pagine di poco valore: duplicati, filtri, sessioni
- Freschezza del contenuto: aggiornamenti frequenti aumentano il budget
Come ottimizzare il crawl budget
- Blocca in robots.txt le pagine inutili (non dall'indicizzazione: dalla scansione)
- Usa noindex sulle pagine spazzatura (filtri, ordinamenti, sessioni)
- Garantisci risposte rapide del server (cache, CDN)
- Linka internamente le pagine importanti, così il crawler le raggiunge in fretta
- Configura bene la sitemap XML: includi solo URL canonical e utili
- Evita gli spazi infiniti (calendari, loop di paginazione per data)
Bloccare le pagine in robots.txt non risparmia budget se esistono link esterni o interni che le puntano: il crawler proverà comunque a scaricarle, vedrà il blocco e sprecherà tempo. Per l'efficienza del budget usa noindex o il blocco dei parametri URL in GSC.
FAQ
Il crawl budget può essere un problema per i siti piccoli (meno di 1.000 pagine)?
Di solito no. Google scansiona 1.000 pagine senza fatica in un solo giro. Su i siti piccoli i problemi di indicizzazione derivano da altri fattori: errori del server, blocchi robots.txt o link interni scadenti.
Come scoprire il crawl budget del mio sito?
Google non comunica un numero assoluto. Puoi dedurlo dal report Statistiche di scansione in Google Search Console. Guarda il trend: quante richieste fa Googlebot al giorno e quante pagine scansiona.
E se il mio crawl budget è troppo basso?
Migliora la velocità del server (riduci il TTFB), blocca in GSC i parametri URL inutili, elimina i duplicati, sistema i link interni e aggiorna la sitemap XML.
Il crawl budget incide sulla paginazione?
Sì. Con molte pagine di paginazione e parametri non canonical (page=2, page=3…) Google può scansionarle. Usa rel='prev'/'next' (deprecato ma a volte funziona) o blocca la paginazione profonda via parametri URL.
Perché Google scansiona le vecchie pagine ma non indicizza le nuove?
Probabilmente il budget va a contenuti superati o di poco valore. Controlla duplicati, filtri infiniti, URL di sessione. Blocca i parametri dinamici superflui con lo strumento Parametri URL in GSC.