Analizza i log di accesso Apache, Nginx e IIS: quali bot scansionano dove, quali codici di stato ottengono, e quante delle loro richieste finiscono in errore. Facoltativamente verifica l'identità dei bot con reverse DNS confermato in avanti.
log-analyze legge un file di log di accesso, semplice o gzip, e riconosce il formato dalle prime righe. Raggruppa le richieste per famiglia di bot e riporta hit, byte, IP unici, codici di stato e sezioni visitate. I risultati descrivono la parte di log analizzata, non l'intero sito.
Uno user agent da solo non prova nulla. Con --verify-bots, SpiderHead verifica che un IP si risolva in un nome host ufficiale e che il nome si risolva a sua volta nello stesso IP. Ogni IP riceve un verdetto: verificato, falso o non controllato. Se il DNS è bloccato sul tuo computer, il risultato è non disponibile, non falso.
Per ogni famiglia di bot il rapporto annota quando più del 10% delle richieste restituisce 4xx o 5xx. Per confrontare le visite dei bot con una scansione, importa il log in un progetto con logs-import. logs-join elenca allora le URL scansionate che i bot non hanno mai richiesto, le URL richieste assenti dalla scansione, le risposte di errore e le URL non indicizzabili che i bot visitano.
Dagli un file di log Apache, Nginx o IIS W3C, semplice o compresso gzip. Il formato è riconosciuto dalle prime righe.
Hit, byte, IP unici, codici di stato e sezioni visitate per ogni famiglia di bot, da Googlebot e Bingbot ai crawler AI e agli strumenti SEO.
Con --verify-bots, ogni IP di bot riceve un controllo di reverse DNS confermato in avanti: verificato, falso o non controllato. Uno user agent da solo non è mai preso come prova.
seohead log-analyze --path ./access.log --verify-botsPrima installa SpiderHead: guida all'installazione. Ogni comando funziona anche come strumento MCP per agenti AI.