Ihr erster Crawl

crawl-site folgt den Links ab einer Start-URL auf demselben Host, beachtet die robots.txt und prüft das Ergebnis mit denselben Prüfungen wie bei Screaming-Frog-Exporten.

Bevor Sie starten: Installieren Sie den Kern und wählen Sie eine Website, die Sie crawlen dürfen. Chromium brauchen Sie nur für JavaScript-Rendering. Siehe Anforderungen für die erforderlichen und optionalen Komponenten.
  1. Klein anfangen

    Das URL-Limit ist ein festes Budget, keine Aussage über die Größe der Website.

    bash
    seohead crawl-site --url https://example.com --max-urls 500 --scan-out ./scans/audit.sqlite
  2. Konfigurieren

    Jede Einstellung lässt sich in einer JSON-Datei per --config oder mit --set setzen; --config-help listet sie auf.

    bash
    seohead crawl-site --config-help
  3. Das Ergebnis ehrlich lesen

    Jede Prüfung meldet einen Befund, lief ohne Befund, wurde übersprungen oder ist fehlgeschlagen. Übersprungene Prüfungen nennen die fehlenden Belege; bei unvollständigen Crawls gibt es keine Aussagen zum Link-Graphen.

  4. Bericht erstellen

    Nutzen Sie das gespeicherte Audit für eine Tabelle; dabei startet kein weiterer Crawl.

    bash
    seohead report-build --audit ./scans/audit.sqlite --format xlsx --out audit.xlsx
  5. Fortsetzen oder diagnostizieren

    Crawls lassen sich fortsetzen. crawl-diagnose erklärt, warum ein Crawl gestoppt hat.

    bash
    seohead crawl-diagnose --scan ./scans/audit.sqlite

Diese Seite auf GitHub bearbeitenAktualisiert 12.10.2026