Cos'è un crawler
Un crawler/spider è un bot che naviga le pagine e indicizza i contenuti. Googlebot, YandexBot e Bingbot sono i più noti. I bot lavorano in continuo, visitando i siti con frequenze diverse.
Gestire i bot
- robots.txt — blocca la scansione di certe sezioni.
- meta robots (noindex, nofollow) — controllo a livello di pagina.
- X-Robots-Tag — per file non HTML.
Crawl budget
I bot di ricerca hanno un crawl budget limitato per ogni sito (dipende da popolarità, dimensioni, velocità del server). Dare priorità alle pagine aiuta il bot a spendere quel budget sui contenuti più importanti.
Se le pagine importanti non si aggiornano nell'indice, controlla i log: il bot potrebbe sprecare budget su parametri di filtro o paginazioni poco ottimizzate.
FAQ
Quanto spesso Googlebot visita il mio sito?
La frequenza dipende dall'autorità e dalla frequenza di aggiornamento. Per i siti nuovi Googlebot può passare ogni pochi giorni. Per i siti di news popolari: ogni pochi minuti.
Posso bloccare tutti i bot con una sola direttiva?
Sì: User-agent: * Disallow: / in robots.txt. Ma attenzione: fermerà la scansione dell'intero sito.
Come vedo quali pagine ha visitato il bot?
Controlla i log del server o il report «Scansione» in Google Search Console.