Ruolo nella ricerca
I crawler scoprono gli URL (link, sitemap, segnali di Search Console), mettono in coda gli scaricamenti, scaricano l'HTML più gli asset dipendenti, se serve renderizzano come Chrome e consegnano i risultati all'indicizzazione. Una sola pagina può innescare molte richieste di asset: font, CSS e JS contano tutti per la fedeltà del rendering.
Varianti del crawler
Con il mobile-first indexing la vista Googlebot smartphone è quella primaria per i segnali di posizionamento: la parità desktop resta importante per gli utenti, ma markup divergenti possono confondere le valutazioni. Crawler dedicati coprono immagini, video e news con pattern di scaricamento diversi.
- Confronta le risposte mobile e desktop quando indaghi sospetti di cloaking.
- Separa il traffico dei bot da quello umano nelle analytics, per evitare conclusioni sbagliate.
- Considera AdsBot e il traffico di prefetch quando dimensioni l'infrastruttura.
Rendering e JS
Google esegue JavaScript in un renderer di seconda fase, con code e timeout. I contenuti critici che compaiono solo dopo bundle client pesanti possono indicizzarsi lentamente o in modo parziale. SSR, HTML in streaming e bundle snelli riducono il rischio.
- Servi HTML significativo nella prima risposta, quando possibile.
- Non bloccare gli asset necessari a un rendering fedele.
- Fai attenzione ai loop di redirect client-side e agli errori in console che rompono il rendering.
Budget e log
Il crawl budget è dinamico: qualità, freschezza e tassi di errore influenzano con quanta aggressività Google rivisita un host. Gli spazi URL infiniti e i server instabili sprecano capacità.
- Canonicalizza i duplicati e pota le esplosioni di parametri di poco valore.
- Stabilizza 5xx e picchi di latenza.
- Verifica il Googlebot genuino nei log grezzi prima di bloccare IP «sospetti».