Bedeutung und Umfang
Crawling, Indexierung und Ranking hängen zusammen, sind aber unterschiedliche Stufen. Ein Crawler kann eine URL anfordern, ohne sie zu indexieren. Ein indexiertes Dokument kann für manche Suchanfragen erscheinen und für andere nicht. Die Position im Suchergebnis wird später für eine bestimmte Suchanfrage und einen bestimmten Kontext festgelegt. Wer jede Abwesenheit als Ranking-Problem deutet, verdeckt die eigentliche Diagnose.
Praktischer Ablauf
Prüfen Sie bei einer wichtigen URL zuerst, ob sie den vorgesehenen öffentlichen Inhalt ausliefert und gecrawlt werden darf. Außerdem prüfen Sie, ob kein noindex-Hinweis gesetzt ist, ob das vorgesehene Canonical verwendet wird und ob die Seite über einen erreichbaren Weg verlinkt ist. Die Aufnahme in die Sitemap kann die Entdeckung unterstützen, garantiert aber keine Indexierung. Prüfen Sie zudem, ob Duplikate, Soft-Fehler oder nicht verfügbare Zustände das Ergebnis erklären.
Was Sie prüfen sollten
Verwenden Sie bei der Prüfung eine genaue URL und ein genaues Datum. Die Berichte „URL-Prüfung“ und „Seitenindexierung“ in der Google Search Console liefern nützliche Signale zur Sicht von Google. Ein Test im Browser und eine Stichprobe aus dem Crawling zeigen, was die Website jetzt ausliefert. Trennen Sie einen aktuellen Live-Test von einem älteren Bericht, damit alte Statusdaten nicht als neuer Deployment-Fehler gelesen werden.
Grenzen und häufige Fehler
Sichern Sie keine Indexierung zu, nur weil eine URL eingereicht, verlinkt oder in einer Sitemap enthalten ist. Sperren Sie eine URL nicht in der robots.txt und erwarten Sie gleichzeitig, dass ein noindex-Tag in dieser gesperrten Antwort verarbeitet wird. Ein brauchbares Ergebnis ist eine erklärbare, technisch geeignete Seite ohne widersprüchliche Signale.
Index-Diagnose: eine URL nach der anderen
Arbeiten Sie mit einem Arbeitsblatt pro URL statt mit einem pauschalen Label wie „nicht indexiert“. Halten Sie die angeforderte URL, die finale Antwort, das Canonical-Tag, das robots-Meta und den X-Robots-Tag, den Inhaltszustand, den internen Quelllink, den Sitemap-Status und das Beobachtungsdatum fest. So trennen Sie einen Fehler bei der Erreichbarkeit von einer Entscheidung zu Duplikaten oder einer Frage zur Inhaltsqualität. Außerdem verhindern Sie, dass eine kanonische Alternative, ein bewusst per noindex ausgeschlossener Filter und eine unbekannte URL als derselbe Fehler gezählt werden.
- Rufen Sie die URL ohne Login-Sitzung ab und notieren Sie den finalen Status und den gerenderten Hauptinhalt.
- Prüfen Sie, ob das Crawling der URL erlaubt ist und ob die Richtlinien zu Indexierung und Canonical in sich stimmig sind.
- Finden Sie einen crawlbaren internen Pfad von einem relevanten Hub aus und prüfen Sie, ob ein Sitemap-Eintrag dieselbe finale kanonische URL verwendet.
- Prüfen Sie die URL in der Search Console, sofern verfügbar, und notieren Sie das Berichtsdatum und den von Google genannten Grund.
- Nehmen Sie eine klar eingegrenzte Korrektur vor und wiederholen Sie dann den Live-Test und die Berichtsprüfung, statt jede URL immer wieder einzureichen.
Ein praktisches Beispiel ist ein Kategoriefilter. Hat der Filter kein eigenes Sortiment und keine eigene Suchintention, kann er bewusst auf die übergeordnete Kategorie kanonisiert oder per noindex ausgeschlossen werden. Hat er dagegen ein eigenes Angebot und einen eigenen Nutzerzweck, braucht er eine stabile URL, ein stimmiges Canonical, interne Verlinkung und Inhalte, die ihn von der übergeordneten Kategorie unterscheiden. Das richtige Ergebnis hängt von der Richtlinie ab. Ziel ist nicht, jede generierte URL zu indexieren.
Die Prüfung sollte eine kleine Routenmatrix enthalten: eine normale Inhaltsseite, eine Variante mit URL-Parametern, eine stillgelegte URL und eine Seite, die absichtlich ausgeschlossen ist. So zeigen Sie, dass das System diese Zustände unterscheiden kann. Google erklärt, dass auf das Crawling und die Analyse die Indexierung folgt. Daher kann eine erreichbare Seite trotzdem fehlen oder mit einem Duplikat gruppiert werden. Benennen Sie diese Unsicherheit ausdrücklich, statt zu behaupten, eine Sitemap oder eine Anfrage garantiere die Aufnahme.
Halten Sie die Nachweise so eng, dass Sie daraus handeln können. Eine datierte Stichprobe von zehn wichtigen URLs, jede nach Live-Status und Indexierungsrichtlinie eingeordnet, ist nützlicher als eine unbeschriftete Anzahl von Tausenden „ausgeschlossenen“ Seiten. Prüfen Sie dieselbe Stichprobe nach einem Release erneut und untersuchen Sie nur die Klasse, die sich unerwartet verändert hat.
Wenn Sie eine Veränderung untersuchen, bewahren Sie die alte Beobachtung zusammen mit der neuen auf. Ein Berichtsgrund kann dem ausgelieferten Stand hinterherhinken, und eine Seite kann als Duplikat gruppiert werden, obwohl der aktuelle Abruf fehlerfrei ist. Der Vergleich derselben URL, derselben Canonical-Richtlinie und desselben Crawler-Status über die Zeit verhindert, dass eine späte Aktualisierung des Berichts als unerklärte technische Umkehr gelesen wird.