Der Prozess, in dem der Crawler einer Suchmaschine URLs entdeckt und anfragt, um Inhalte und Signale zu erfassen. Crawling ist von Indexierung, Ranking und Berichterstattung zu unterscheiden.
Die Entscheidung und ihre Grenzen
Crawling ist die Abrufphase, in der eine Suchmaschine URLs über Links, Sitemaps und weitere Signale entdeckt und anfragt. Ein erfolgreicher Abruf bedeutet nicht, dass die Seite indexiert, angezeigt oder gerankt wird. Umgekehrt wird eine indexierte URL nach einer Änderung womöglich nicht sofort erneut abgerufen. Praktisch zählt daher, wichtige URLs auffindbar, zugänglich und intern verlinkt zu machen und dabei auf eine konsistente Kanonisierung und Indexsteuerung zu achten.
Was Sie prüfen sollten
Legen Sie vor dem Crawling eine URL-Menge fest: Templates, wichtige Verzeichnisse, Sitemaps und bekannte alte Routen. Erfassen Sie Statuscode, finale URL, kanonisches Tag, Robots-Anweisungen, Verfügbarkeit des gerenderten Inhalts und Linktiefe. Vergleichen Sie das Crawl-Ergebnis mit Sitemap- und Search-Console-Daten, ohne deren Grundgesamtheiten gleichzusetzen. Kennzeichnen Sie nicht erreichbare oder nicht gemessene URLs ausdrücklich.
Ein praktischer Umsetzungsweg
Verlinken Sie wichtige Seiten mit gewöhnlichen HTML-Links aus relevanten Übersichtsseiten. Nutzen Sie die Sitemap als Festlegung der finalen indexierbaren URLs und stimmen Sie die robots-Regeln mit der gewünschten Crawl-Steuerung ab. Beheben Sie Antwortfehler und Weiterleitungsketten, bevor Sie ein erneutes Crawling anstoßen. Wiederholen Sie nach einer Änderung denselben begrenzten Crawl und prüfen Sie Server- oder Suchdaten für die festgelegte Stichprobe. Ziehen Sie keine websiteweiten Schlüsse aus einer einzelnen URL.
Fehler und Grenzen der Messung
Häufig heißt es fälschlich, Crawling habe das Ranking verursacht, oder eine Sperrung per robots.txt sei eine Indexierungslösung. Crawling, Indexierung und Ranking sind getrennte Stufen mit jeweils eigenen Belegen. Werten Sie eine Antwort mit dem Statuscode 200 erst dann als bestanden, wenn auch die finale URL, das kanonische Tag und der sichtbare Inhalt geprüft sind.
Beispiel für einen Crawl. Wenn eine neue Kategorie live geht, notieren Sie deren kanonische URL, die erwartete Antwort, den Link von der übergeordneten Übersichtsseite, die Aufnahme in die Sitemap, die robots-Regel und die Anforderung an das Rendering. Crawlen Sie die übergeordnete Seite und die Kategorie mit einem festgelegten User-Agent und Rendering-Modus und vergleichen Sie die erfasste URL mit dem Sollzustand. Findet der Crawler eine Weiterleitung, eine gesperrte Ressource oder ein anderes kanonisches Tag, untersuchen Sie diesen Zustand, statt die Kategorie als gecrawlt zu bezeichnen. Ein Crawl einer einzelnen URL zeigt nicht, dass eine ganze Template-Familie auffindbar ist.
Prüfkriterien. Ein brauchbares Crawl-Protokoll hält die Ausgangsmenge der URLs, das Datum, den Umgang mit Antworten, die Rendering-Annahmen, Grenzen, Fehler und die Regeln zur URL-Normalisierung fest. Prüfen Sie bei wichtigen URLs Status, Weiterleitungskette, finale URL, kanonisches Tag, Indexierungsanweisungen, Linkquelle und ob zentrale Inhalte gerendert wurden. Vergleichen Sie das Crawl-Ergebnis mit Sitemap-Einträgen und Search-Console-Abdeckung nur mit Vorsicht, denn beide beantworten unterschiedliche Fragen und können unterschiedliche Zeitstempel verwenden. Halten Sie nicht zuordenbare Teilmengen sichtbar.
Häufige Fehler. Verlassen Sie sich nicht darauf, dass eine per robots.txt gesperrte URL eine noindex-Regel übermittelt. Halten Sie eine Antwort mit Statuscode 200 nicht für ein gültiges Crawl-Ziel, wenn das kanonische Tag falsch ist, der gerenderte Text dünn ist oder Assets weiterleiten. Vermeiden Sie die Aussage, ein Crawler habe „alle Seiten gefunden“, ohne einen dokumentierten Umfang. Entdeckung, Abruf, Indexierung und Ranking müssen im Bericht getrennt bleiben.