Ein Crawl ist eine begrenzte Momentaufnahme
Ein Crawler zeigt, was seine Konfiguration zu einem bestimmten Zeitpunkt abrufen kann. Start-URLs, JavaScript-Rendering, Limits, User-Agent, Cookies und Ausschlüsse bestimmen den Datensatz.
Der Crawler kann eine Weiterleitungskette oder einen fehlenden Title-Tag erkennen. Er kann aber weder die Indexierung noch Conversions oder eine algorithmische Ursache belegen.
Den Crawl konfigurieren
Legen Sie vor dem Start den Umfang fest: kanonischer Host, Crawl-Limit, Rendering-Modus, Crawl-Rate und ausgeschlossene Routen. Bewahren Sie die Konfiguration zusammen mit dem Export auf.
- Umfang festlegen.
- Rendering wählen.
- Crawl-Rate begrenzen.
- Bis zum Ende durchlaufen lassen.
- Fehlgeschlagene und übersprungene URLs dokumentieren.
Befunde prüfen
Öffnen Sie typische Befunde im Browser und prüfen Sie die Antwort-Header, bevor Sie eine Korrektur vorschlagen. Vergleichen Sie die gecrawlten URLs erst mit der Sitemap oder der Search Console, wenn Weiterleitungen und URL-Varianten normalisiert sind.
| Befund | Live prüfen | Nicht ableiten |
|---|---|---|
| 3xx-Kette | Endgültige Antwort und Links | Höhe des Ranking-Verlusts |
| Canonical-Konflikt | Gerendertes Tag und Ziel | Indexierungsstatus |
| Kandidat für verwaiste Seite | Crawl im Vergleich zum Inventar | Dass jede nicht zugeordnete URL fehlerhaft ist |
Häufige Fehler
Ein roher Export ist kein Umsetzungsplan. Der JavaScript-Modus, die Authentifizierung und die URL-Normalisierung können das Ergebnis verändern.