Indexierung

Indexierung ist der Prozess, bei dem eine Suchmaschine eine geeignete, gecrawlte Seite analysiert und sie für die Suchergebnisse speichern kann.

zoom_in

Was es bedeutet

Crawling entdeckt eine URL oder ruft sie ab, Rendering interpretiert den Inhalt, und die Indexierung ist eine eigene Entscheidung über die Eignung.

Eine 200-Antwort, ein Sitemap-Eintrag oder ein Crawl garantiert keine Indexierung.

So bewerten Sie es

Nutzen Sie die URL-Prüfung und einen Crawl, um die gerenderte Antwort, die robots-Anweisungen, das Canonical-Ziel, die internen Links und die Sitemap-Zugehörigkeit zu vergleichen.

Praktischer Ablauf

1. Legen Sie die Nutzeraufgabe und den betroffenen Umfang fest.
2. Nutzen Sie die URL-Prüfung und einen Crawl, um die gerenderte Antwort, die robots-Anweisungen, das Canonical-Ziel, die internen Links und die Sitemap-Zugehörigkeit zu vergleichen.
3. Wählen Sie die kleinste umkehrbare Änderung.
4. Legen Sie die vorgesehene indexierbare Menge fest, erlauben Sie die Entdeckung, verwenden Sie einheitliche Canonicals und setzen Sie noindex bewusst ein.
5. Prüfen Sie das gerenderte Ergebnis erneut und halten Sie den Messumfang und das Datum fest.

Ein konkretes Entscheidungs- und Prüfbeispiel

Ein reales Prüfbeispiel: Eine Produktfilter-URL liefert 200, steht in der Sitemap und hat interne Links, deklariert aber ein Canonical auf die übergeordnete Kategorie. Der richtige Schluss lautet nicht „Der Filter ist defekt“. Entscheiden Sie zuerst, ob die gefilterte Ansicht ein eigenes indexierbares Dokument verdient: Sie braucht einen eigenen Suchbedarf, genug nützliche Inhalte oder Sortiment und eine stabile kanonische URL. Andernfalls ist die übergeordnete Kategorie womöglich die vorgesehene Hauptseite.

Arbeiten Sie mit einer expliziten Indexierungsmatrix. Halten Sie für jede URL-Klasse den Entdeckungsweg, den HTTP-Status nach Weiterleitungen, die robots-Zugänglichkeit, den noindex-Status, das Canonical-Ziel, die Sitemap-Zugehörigkeit und den erwarteten Indexierungsstatus fest. Die Matrix macht widersprüchliche Steuerungen sichtbar: Eine in der robots.txt gesperrte Seite mit noindex kann nicht zuverlässig verarbeitet werden, weil der Crawler die Anweisung nicht lesen kann. Die Dokumentation von Google ist in diesem Punkt eindeutig.

Prüfen Sie in zwei Durchgängen. Crawlen Sie die gerenderte Website, um Steuerungen im großen Maßstab zu testen, und prüfen Sie danach ausgewählte Beispiel-URLs in den eigenen Werkzeugen der Suchmaschine, um zu sehen, was sie meldet. Halten Sie das Prüfdatum und die exakte URL fest. Die Indexierung kann Zeit brauchen, und Suchmaschinen wählen Canonicals anhand mehrerer Signale aus. Eine Umsetzung kann daher korrekt sein, bevor das Ergebnis in allen Berichten sichtbar wird.

Grenzen und häufige Fehler

Das Sperren in der robots.txt allein ist kein Mechanismus zur Indexsteuerung.