Cookie-Einstellungen

Notwendige Cookies halten die Seite am Laufen. Analytics zeigt, welche Seiten nützlich sind. Die Wahl lässt sich jederzeit im Footer ändern.

Cookie-Richtlinie dieser Website – alle Details: Cookie-Kategorien, wie wir Ihre Auswahl im Browser speichern und wie Sie Ihre Einwilligung widerrufen.

Notwendig

Grundfunktionen der Seite und Ihre Einwilligung. Immer aktiv.

Analyse

Hilft zu verstehen, wie die Seite genutzt wird. Wird nur nach Ihrer Zustimmung geladen.

GitHubZIP herunterladen

Suchmaschinen-Crawler

Ein Suchmaschinen-Crawler ist eine automatisierte Software, die Webressourcen anfordert und URLs entdeckt, bevor eine Suchmaschine sie gegebenenfalls rendert, indexiert oder rankt.

Mechanismus und Entscheidung

Ein Suchmaschinen-Crawler entdeckt und fordert URLs über Links, Sitemaps und bereits bekannte Adressen an. Der Abruf ist nur der erste Schritt: Danach kann ein System die URL rendern, kanonisieren, indexieren oder überspringen.

Wichtige öffentliche URLs brauchen direkte interne Links, verlässliche Antworten und eine stimmige Indexierungsstrategie. Robots-Regeln steuern das Crawling durch regelkonforme Crawler, doch eine gesperrte URL kann trotzdem über externe Links bekannt sein.

Die Grafik zeigt den Weg vom Entdecken der URLs über interne Links und Sitemaps bis zu den Entscheidungen über Abruf, Rendering und Indexierung.

Was Sie steuern können

Crawling garantiert keine Indexierung, und Indexierung garantiert keine bestimmte Position in den Suchergebnissen.

Praktischer Ablauf

  1. Legen Sie fest, welche öffentlichen, indexierbaren URLs zur Website gehören.
  2. Prüfen Sie die Identität des Crawlers, bevor Sie auf Basis botspezifischer Angaben handeln.
  3. Prüfen Sie Robots-Regeln, Antwortcodes, Rendering und Canonical-Signale gemeinsam.
  4. Zeigen Sie bevorzugte Seiten über Links und eine aktuelle Sitemap.

FAQ

Beweist ein Crawler-Besuch die Indexierung?
Nein. Abruf, Verarbeitung und Aufnahme einer Seite in die Suche sind getrennte Schritte.
Kann ich dem Crawler-Namen im User-Agent-Header vertrauen?
Nicht allein. User-Agent-Angaben lassen sich nachahmen. Für wichtige Logfile-Analysen sollten Sie die Verifizierungsmethode des Suchanbieters nutzen.