Was Logfile-Analyse bedeutet
Logs erfassen Anfragen, die den Server erreicht haben. Sie zeigen nicht direkt Indexierung, Rankings oder jede Rendering-Entscheidung. Dabei müssen die Erkennung von Bots und die Aufbewahrungsfristen der Logs berücksichtigt werden.
Die Logfile-Analyse wertet Server-Anfragen aus, um zu sehen, wie Crawler URLs tatsächlich aufrufen. Sie zeigt beobachtete Crawling-Pfade, Antwortcodes und verschwendete Anfragen innerhalb des verfügbaren Log-Zeitraums.
Ein praktischer Prüfablauf
Besorgen Sie sich einen begrenzten Log-Zeitraum, lesen Sie Zeitstempel, URLs, Statuscodes, User-Agents und Bytes aus und normalisieren Sie danach die Query-Parameter. Trennen Sie anschließend verifizierten Crawler-Traffic von gewöhnlichen Anfragen.
Was Sie prüfen sollten
Vergleichen Sie die Muster der Crawler-Anfragen mit dem Inventar kanonischer URLs, den Sitemaps, internen Links und Serverantworten. Prüfen Sie Rohdaten-Einträge in Stichproben, bevor Sie einen großen Schluss ziehen.
Grenzen und häufige Fehler
Schließen Sie nicht daraus, dass eine nicht gecrawlte URL aus dem Index entfernt wurde, und halten Sie einen gefälschten User-Agent nicht für einen Suchmaschinen-Crawler.
Ein belastbarer Log-Workflow beginnt mit den Grenzen für Zugriff und Datenschutz. Beschränken Sie die Felder auf das, was für die Crawling-Analyse nötig ist, legen Sie den Zeitraum fest und speichern Sie ein aggregiertes Ergebnis statt Rohdaten einzelner Besucher. Verarbeiten Sie die Daten in eine reproduzierbare Tabelle und untersuchen Sie nur Muster, die sich mit einem bekannten URL-Inventar vergleichen lassen. Ein Anstieg bei einer Parameter-URL ist etwa eine Frage nach Auffindbarkeit und URL-Steuerung. Er ist noch kein Beleg für ein Crawl-Budget-Problem.
Die ursprüngliche Anfrage bewahren
Bewahren Sie die rohe Request-URL und den Status als unveränderliche Belege auf. Erstellen Sie abgeleitete Gruppierungsfelder für Parameter, Pfade, Bots und Antwortklassen. Prüfen Sie außerdem, ob die Logs von einem Edge/CDN oder vom Origin stammen: Eine fehlende Origin-Anfrage kann auf Caching hindeuten und nicht darauf, dass ein Crawler die Seite nicht angefragt hat.