Bystrobot: il crawler veloce di Yandex

Bystrobot (letteralmente «robot veloce») è il crawler specializzato ad alta velocità di Yandex, pensato per indicizzare in fretta le pagine aggiornate di frequenza (notizie, blog, forum). Ignora la maggior parte delle restrizioni tecniche e controlla le pagine entro minuti o ore dalla pubblicazione.

Cos'è Bystrobot

Bystrobot (robot veloce) è un crawler specializzato di Yandex pensato per indicizzare rapidamente le pagine aggiornate di frequenza (notizie, blog, forum). A differenza del crawler principale (che visita i siti a distanza di ore o settimane), Bystrobot può tornare su una pagina ogni pochi minuti. È pensato per i siti dove la freschezza dei contenuti è critica.

Bystrobot non è disponibile automaticamente a tutti i siti. Yandex decide se la scansione accelerata serve in base alla frequenza di aggiornamento e ad altri fattori. Puoi comunque richiederla tramite Yandex.Webmaster.

Come funziona Bystrobot

Ecco come lavora Bystrobot in pratica:

Bystrobot ignora le direttive di robots.txt (per velocità), ma rispetta comunque i meta tag noindex.
Controlla le pagine tramite gli header HTTP, in particolare Last-Modified e Cache-Control, per capire se il contenuto è cambiato.
Se la pagina non è cambiata, Bystrobot se ne va e torna meno spesso. Se è cambiata, la pagina può essere inviata subito all'indice.
Bystrobot non scansiona l'intero sito: si concentra su singoli URL considerati importanti per l'indicizzazione rapida.

Come accelerare l'indicizzazione con Bystrobot

Puoi chiedere esplicitamente a Yandex di accelerare la scansione con lo strumento «Riscansiona pagine» in Yandex.Webmaster.

Vai su Yandex.Webmaster → «Indicizzazione» → «Riscansiona pagine».
Inserisci fino a 10 URL (o uno solo) per la nuova scansione accelerata.
Seleziona «Riscansione urgente»: Bystrobot visiterà le pagine entro poche ore (di solito 2-4).
Conferma la richiesta.

Altri modi per attirare Bystrobot:

Usa un feed RSS o una sitemap XML con l'attributo <lastmod> e aggiornamenti frequenti.
Aggiungi link alle nuove pagine sulla homepage o in sezioni che il crawler principale visita spesso.
Assicurati che il server risponda rapidamente (sotto 0,2 secondi per le pagine di notizie).

Bystrobot non garantisce l'indicizzazione: accelera solo la scansione. Perché una pagina venga indicizzata deve essere di qualità, unica e conforme alle regole di Yandex.

Bystrobot contro il crawler principale

Il crawler principale di Yandex (nei log di solito chiamato «Yandex») scansiona i siti su un piano programmato, rispetta robots.txt e introduce ritardi. Può analizzare migliaia di pagine ma lentamente. Bystrobot al contrario:

È più aggressivo nella frequenza delle richieste (può fare diverse richieste al minuto).
In genere visita solo URL dinamici (con parametri, aggiornati di frequente).
Ignora robots.txt (ma non ignora il meta robots, se presente).
Non è usato per scansioni su larga scala, solo per verificare i cambiamenti di singole pagine.

Nei log del server Bystrobot si identifica dallo User-Agent «YandexBot» (uguale al crawler principale) o talvolta «YandexBot/3.0» con flag aggiuntivi. Non c'è una separazione netta, ma lo distingue il comportamento.

FAQ

Controlla i log del server: se lo stesso URL viene richiesto più volte in un periodo breve (per esempio ogni 5-10 minuti), è probabilmente Bystrobot. Anche il report «Crawler» di Yandex.Webmaster mostra le statistiche.

Tecnicamente sì, via robots.txt o IP. Non è consigliabile però, perché Bystrobot aiuta a indicizzare prima le nuove pagine. Se sovraccarica il server, meglio ottimizzare il sito.

No, può visitarla più volte per confermare la stabilità del contenuto. L'indicizzazione (l'ingresso nella ricerca) non è istantanea ma è molto più rapida che senza Bystrobot.

Yandex non pubblica limiti rigidi, ma non esagerare. Usala per notizie davvero urgenti o aggiornamenti importanti. Per gli articoli normali basta la scansione programmata.

Perché il suo compito è verificare se una pagina è cambiata, non girare per tutto il sito. Rispetta comunque il meta robots con noindex. Ignorare robots.txt serve alla velocità, non ad aggirare le directory vietate.