Crawls vor und nach einer Änderung vergleichen

Vergleichen Sie zwei gespeicherte Audits oder Scans, ohne erneut zu crawlen. Sie sehen, welche Befunde neu hinzugekommen sind, welche behoben wurden und was sich bei einer deklarierten URL-Migration verändert hat.

Was es leistet

Vier Kategorien, eine Regel

Jeder Befund landet in einer von vier Kategorien: neu hinzugekommen, behoben, aufgetaucht oder verschwunden. Behoben heißt: Beide Crawls haben die URL abgerufen, und der Befund ist nicht mehr da. Verschwunden heißt: Der spätere Crawl hat die URL nie abgerufen. Das sagt daher nichts über eine Korrektur aus.

  • Unterschiedliche gespeicherte Crawl-Einstellungen werden abgelehnt, außer Sie geben --force an.
  • Native Crawls und Screaming-Frog-Exporte finden möglicherweise unterschiedliche URL-Mengen. Vergleichen Sie sie nur bei kompatiblem Umfang.
  • Eine im späteren Lauf übersprungene Prüfung behält in ihren Kategorien eine Warnung.

Migrationen

Um über eine URL-Änderung hinweg zu vergleichen, deklarieren Sie die Paare in einer url-correspondence.v1-Datei und übergeben sie mit --correspondence. Der Abgleich ist exakt: SpiderHead errät Paare nicht anhand von Titeln, Weiterleitungen oder Inhalten. Das Ergebnis ist ein Release-Review mit Seitendaten und Befund-Veränderungen für jedes deklarierte Paar.

  • origin_map deckt ganze Origin-Umzüge ab.
  • Eine Deklaration umfasst höchstens 10.000 explizite Paare und 10.000 Origins.
  • Größere Deklarationen werden abgelehnt, nie gekürzt.

Große Audits und Einzel-URLs

Audits mit mehr als 10.000 Seiten oder Befunden brauchen einen ausdrücklichen --out-dir. Er nimmt einen neuen compare.v2-Ordner mit NDJSON-Streams und einem Manifest auf, optional mit gzip-Kompression. Diesen Ordner lesen Sie danach, ohne etwas neu zu berechnen.

  • compare-read liest einen Stream in Abschnitten, mit Filtern und Sortierung.
  • compare-report schreibt eine Markdown-Zusammenfassung ohne Seiten-URLs.
  • compare-url zeigt die Fakten vor und nach der Änderung für eine exakte URL.
  • compare-status und --resume setzen einen unterbrochenen Auftrag fort.

Drei Schritte, ein gespeicherter Scan

  1. Einen Scan pro Seite speichern

    Führen Sie crawl-site vor und nach der Änderung aus oder importieren Sie einen Screaming-Frog-Audit. Jeder Lauf hinterlässt eine gespeicherte Datei, die Sie später vergleichen können.

  2. Die beiden gespeicherten Dateien vergleichen

    compare-crawls liest beide Dateien und ordnet jeden Befund einer Kategorie zu: neu hinzugekommen, behoben, aufgetaucht oder verschwunden. Das Tool ruft dabei keine Seiten ab.

  3. Korrektur und fehlende Prüfung unterscheiden

    behoben heißt: Beide Crawls haben die URL abgerufen, und der Befund ist verschwunden. verschwunden heißt: Die URL wurde nicht erneut geprüft, das belegt also nichts. Für ein Urteil zu einzelnen Befunden verwenden Sie verify-fixes.

Prüfungen in dieser Funktion

PrüfungBedeutungSchweregradBeleg
BROKEN_PAGE_4XXEine Seite liefert einen 4xx-Fehler. Der Vergleich zeigt, ob er neu hinzugekommen ist (neue Störung) oder auf einer URL behoben wurde, die beide Crawls abgerufen haben.CriticalBefundzeilen für dieselbe URL, vor und nach der Änderung
SERVER_ERROR_5XXEine Seite liefert einen 5xx-Fehler. Dieselbe Logik für neu hinzugekommen, behoben oder verschwunden gilt zwischen den beiden Crawls.CriticalBefundzeilen für dieselbe URL, vor und nach der Änderung
TITLE_MISSINGDas title-Element fehlt auf einer Seite. Eine Verschlechterung erscheint als neu hinzugekommene Zeile, eine Korrektur als behobene Zeile.CriticalBefundzeilen für dieselbe URL, vor und nach der Änderung
REDIRECT_CHAINEine Weiterleitungskette hat zwei oder mehr Sprünge. Nach einer Migration nützlich, um zu bestätigen, dass keine Ketten hinzugekommen sind.ImportantBefundzeilen für dieselbe URL, vor und nach der Änderung
CANONICAL_MISSINGEine indexierbare Seite hat keine Canonical-URL. Erkennt Canonicals, die in einem Template-Release verloren gegangen sind.ImportantBefundzeilen für dieselbe URL, vor und nach der Änderung
URL_NOT_IN_SITEMAPEine indexierbare Seite fehlt in der Sitemap. Zeigt, ob die Sitemap mit dem Release nachgezogen wurde.TipBefundzeilen für dieselbe URL, vor und nach der Änderung

Ein Befehl

bash
seohead compare-crawls --before ./scans/before.sqlite --after ./scans/after.sqlite

Zuerst installieren: Installationsanleitung. Jeder Befehl läuft auch als MCP-Tool für KI-Agenten.

Was Sie brauchen

  • Zwei gespeicherte audit.json-Dateien oder SQLite-Dateien vom Typ scan.v1 (--before, --after)
  • Optional: eine url-correspondence.v1-Datei für eine Migration
  • Ein neuer Ausgabeordner (--out-dir) für große Audits

Grenzen

  • Ein verschwundener Befund ist keine Korrektur. Für ein Urteil zu einzelnen Befunden verwenden Sie verify-fixes.
  • Eine nicht gemessene oder übersprungene Prüfung kann keine Behebung belegen, auch wenn ihr Befund als behoben erscheint.
  • Ein URL-Abgleich findet nur für die von Ihnen deklarierten Paare statt.
  • Ein vorhandener Ausgabeordner wird abgelehnt, nie überschrieben.

Fragen

Crawlt compare-crawls die Website erneut?
Nein. Das Tool liest zwei gespeicherte Audit- oder Scan-Dateien und stellt keine Anfragen. verify-fixes ist der Befehl, der ausgewählte URLs erneut abruft.
Kann ich einen nativen Crawl mit einem Screaming-Frog-Export vergleichen?
Nur bei kompatiblem Umfang und kompatiblen Einstellungen. Native Crawls und Screaming Frog können unterschiedliche URL-Mengen finden. Weichen die gespeicherten Crawl-Einstellungen ab, wird der Vergleich abgelehnt, außer Sie geben --force an.
Eine Seite ist im zweiten Crawl verschwunden. Ist sie behoben?
Das ist nicht bekannt. Ein verschwundener Befund heißt, dass die Seite nicht erneut geprüft wurde. Nur „behoben“ bedeutet, dass beide Crawls die URL abgerufen haben und der Befund nicht mehr auftritt.
Was ist mit großen Websites?
Audits mit mehr als 10.000 Seiten oder Befunden brauchen einen ausdrücklichen --out-dir. Die Ausgabe ist ein neuer compare.v2-Ordner mit NDJSON-Dateien und einem Manifest. Mit --compression gzip werden die Dateien kleiner.
Kann das Tool alte URLs nach einer Migration den neuen zuordnen?
Nur mit einer deklarierten url-correspondence.v1-Datei, die Origin- und Pfad-Paare auflistet (--correspondence). Paare werden nicht anhand von Titeln oder Inhalten erraten.
Was schreibt das Tool auf die Festplatte?
Kleine Vergleiche gibt das Tool direkt aus. Mit --out-dir schreibt es einen neuen Ordner mit dem Manifest und einer Datei pro Stream. Es wird nichts irgendwohin übertragen.

Testen Sie es auf Ihrer eigenen Website