Come funziona la scansione
Un bot di ricerca parte da URL noti (sitemap.xml, link da altri siti) e segue i link interni ed esterni. Ogni pagina scoperta entra in una coda di lavorazione per l'indicizzazione.
Crawl budget
Per i siti grandi (10.000+ pagine) le risorse del bot sono finite. Se spreca tempo a scansionare spazzatura (duplicati, URL di sessione, pagine di filtro) può perdersi le pagine nuove importanti. Il crawl budget combina la frequenza (quanto spesso il bot visita) e il numero di URL disposto a scansionare per sessione.
Controllare la scansione
Leve principali:
- robots.txt: blocca la scansione delle sezioni non necessarie.
- Codici di risposta puliti: 200 per le pagine desiderate, 404/301 per quelle indesiderate.
- Sitemap.xml: suggerisce quali pagine scansionare per prime.
- Canonical: indica l'URL preferito, così il bot non spreca tempo sui duplicati.
- Analisi dei log: studia quali pagine il bot visita davvero.
La scansione non garantisce l'indicizzazione. Dopo lo scaricamento, la pagina viene valutata e può non entrare nell'indice.
FAQ
In cosa differisce la scansione dall'indicizzazione?
La scansione è lo scaricamento e caricamento della pagina; l'indicizzazione è l'analisi e l'inserimento nel database ricercabile.
Quanto spesso Googlebot scansiona un sito?
Dipende da autorità, frequenza di aggiornamento e dimensioni del sito. Da diverse volte al giorno a una volta ogni poche settimane.
Posso accelerare la scansione di un sito nuovo?
Invia una sitemap in Search Console, usa lo strumento Controllo URL e ottieni qualche link esterno.
E se il bot scansiona troppo materiale inutile?
Controlla robots.txt, escludi gli URL parametrizzati nelle impostazioni della search console, configura i canonical.