Cookie-Einstellungen

Notwendige Cookies halten die Seite am Laufen. Analytics zeigt, welche Seiten nützlich sind. Die Wahl lässt sich jederzeit im Footer ändern.

Cookie-Richtlinie dieser Website – alle Details: Cookie-Kategorien, wie wir Ihre Auswahl im Browser speichern und wie Sie Ihre Einwilligung widerrufen.

Notwendig

Grundfunktionen der Seite und Ihre Einwilligung. Immer aktiv.

Analyse

Hilft zu verstehen, wie die Seite genutzt wird. Wird nur nach Ihrer Zustimmung geladen.

GitHubZIP herunterladen

Höfliches Crawling: Budgets und Ratenlimits

SpiderHead ist standardmäßig höflich: etwa zwei Anfragen pro Sekunde und Host, begrenzte Anfragen nur zum Lesen und eine ausdrückliche URL-Obergrenze. Diese Grenze ist ein Budget und keine Schätzung der Größe der Website.

Auf GitHub ansehenSchnellstart

Was es leistet

  • SpiderHead-Desktop-App: die Scan-Einstellungen für Tempo und Limits mit Anfragen pro Sekunde und adaptiver Verlangsamung.
  • SpiderHead im Terminal: seohead config-help

Budgets, die Sie festlegen

Ein Crawl stoppt bei den Grenzen, die Sie ihm setzen: Anzahl der URLs (Standard 200), Linktiefe (Standard 5), Gesamtzahl der HTTP-Versuche und optional ein Zeitbudget. Sie können den Umfang mit Ein- und Ausschlussregeln nach URL-Muster, Dateiendung oder Medientyp eingrenzen. Wer ein Projektbudget überschreitet, braucht --approve-large-crawl.

  • --max-urls ist ein festes Budget und keine Schätzung der Sitegröße
  • Die Verzögerung passt sich dem Server an: Sie steigt, wenn der Server langsamer wird oder in Timeouts läuft

Von Anfang an sicher

Netzwerk-Tools blockieren private und lokale Ziele, solange Sie diese nicht namentlich freigeben. Der Crawler sendet nur begrenzte Anfragen zum Lesen an die von Ihnen genannte Website und gibt sich mit einem User-Agent zu erkennen. Nach 5 Timeouts in Folge stoppt er zudem von selbst.

Drei Schritte, ein gespeicherter Scan

  1. Ein URL-Budget festlegen

    --max-urls begrenzt die Seiten, die ein Crawl abruft (Standard 200). Wer ein Projektbudget überschreitet, braucht --approve-large-crawl.

  2. Jeden Host im Tempo begrenzen

    Die Standardverzögerung beträgt 0,5 Sekunden zwischen den Anfragen, also etwa zwei pro Sekunde und Host. Mit --max-urls-per-second legen Sie die Rate fest. Die adaptive Drosselung verlangsamt den Crawl, wenn der Server ins Stocken gerät.

  3. robots.txt und private Ziele beachten

    Die robots.txt wird standardmäßig beachtet. Private und lokale Adressen bleiben blockiert, bis Sie sie namentlich freigeben.

Prüfungen in dieser Funktion

PrüfungBedeutungSchweregradBeleg
SLOW_RESPONSEDer Server hat länger als 1,5 Sekunden zum Antworten gebrauchtImportantAntwortzeit pro Seite im Vergleich zum Schwellenwert von 1,5 s
BLOCKED_BY_ROBOTSDie URL ist durch die robots.txt blockiertImportantBlockierte URL aus dem Crawl oder dem SF-Export
IMPORTANT_URL_BLOCKED_BY_ROBOTSEine Seite mit internen Links ist durch die robots.txt blockiert, daher bricht die Linkerkennung abImportantBlockierte URL und ihre internen eingehenden Links
ROBOTS_BLOCKS_RESOURCESDie robots.txt blockiert JavaScript oder CSS, die für das Rendern der Seite nötig sindTipURL der blockierten Ressource
SITEMAP_NOT_IN_ROBOTSDie robots.txt enthält keine Sitemap-DirektiveTipInhalt der robots.txt

Ein Befehl

bash
seohead crawl-site --config-help

Zuerst installieren: Installationsanleitung. Jeder Befehl läuft auch als MCP-Tool für KI-Agenten.

Was Sie brauchen

  • Eine Start-URL
  • Optional: --max-urls und --max-urls-per-second
  • Optional: eine Crawl-Konfigurationsdatei für Verzögerungen, Tiefe und Umfang

Grenzen

  • Das Ratenlimit gilt pro Host; es kennt die Kapazität Ihres Servers nicht
  • Die adaptive Drosselung reagiert auf langsame Antworten und sagt keine Last voraus
  • --robots ignore ignoriert die robots.txt: nur für Websites verwenden, die Ihnen gehören

Fragen

Verlangsamt der Crawler meine Website?
Standardmäßig wartet er 0,5 Sekunden zwischen den Anfragen und drosselt sich selbst, wenn der Server langsamer wird oder in Timeouts läuft. Nach 5 Timeouts in Folge stoppt der Crawl.
Hält er sich an die robots.txt?
Ja, standardmäßig. --robots report_only lädt die robots.txt, meldet, was blockiert wäre, und crawlt trotzdem. --robots ignore ignoriert die robots.txt vollständig. Verwenden Sie das nur bei Websites, die Ihnen gehören.
Kann er eine Staging-Website unter einer privaten Adresse crawlen?
Nur nach ausdrücklicher Freigabe. SEOHEAD_ALLOW_PRIVATE_HOSTS erlaubt benannte Hostnamen, SEOHEAD_ALLOW_PRIVATE_NETWORKS=1 öffnet alle privaten Bereiche.
Kann ich schneller crawlen?
Ja. --max-urls-per-second legt die maximale Rate pro Host fest, und speed.concurrency erhöht die Zahl der gleichzeitig laufenden Anfragen (Standard 1). Die adaptive Drosselung kann den Crawl trotzdem verlangsamen, wenn der Server überlastet ist. Erhöhen Sie diese Werte nur bei Servern, die Sie selbst betreiben.

Weiterstöbern

Aus Blog und Glossar

Crawl-Budget: Praxisleitfaden für große PlattformenBlogCrawl-BudgetGlossar

Mehr in dieser Gruppe · Crawling

Kostenloser lokaler SEO-CrawlerFunktionCrawler mit JavaScript-RenderingFunktionSitemap- und URL-Listen-CrawlerFunktionAbgebrochenes Crawling fortsetzenFunktionCrawl-Umfang, robots.txt und DirektivenFunktionIndividuelle Extraktion aus gecrawlten SeitenFunktion

Testen Sie es auf Ihrer eigenen Website

ZIP herunterladenAlle Funktionen