Meta Robots

Das Meta-Robots-Tag gibt seitenbezogene Crawler-Anweisungen zur Indexierung und zur Darstellung in den Suchergebnissen. Es wirkt nur, wenn ein Crawler auf die Seite zugreifen kann.

Eine Meta-Robots-Anweisung legt Entscheidungen fest, etwa noindex, nofollow oder Steuerungen für Snippets. Sie unterscheidet sich von der robots.txt, die das Crawling begrenzt, und vom Canonical, das eine bevorzugte Duplikat-URL kennzeichnet.

Das Diagramm zeigt die wichtigsten Eingaben, Prüfungen und den Entscheidungsweg für Meta Robots.

Praktische Umsetzung

Legen Sie zuerst die Indexierungsregeln fest: öffentliche URLs, erreichbare, aber ausgeschlossene URLs und die Behandlung von Duplikaten. Setzen Sie eine einheitliche Anweisung über das CMS oder das Template um und prüfen Sie sie in der finalen Antwort des Servers. Verwenden Sie den X-Robots-Tag für Nicht-HTML-Dateien wie PDFs.

Was zu prüfen ist

Prüfen Sie das HTML nach dem Rendering, die Antwort-Header und den Zugriff für Crawler. Achten Sie darauf, dass die Anweisung auf der vorgesehenen kanonischen Variante steht und nicht auf notwendiger Navigation oder auf URLs der Sitemap. Prüfen Sie nach dem Deployment erneut, weil Cache und Template-Bedingungen die Ausgabe verändern können.

Häufige Fehler

Sperren Sie eine URL nicht in der robots.txt und erwarten Sie dann, dass ihr Meta-noindex gesehen wird. Verwenden Sie nofollow nicht als pauschale Regel für die interne Verlinkung.

FAQ

Was ist der Hauptzweck von Meta Robots?
Eine Meta-Robots-Anweisung drückt Entscheidungen aus, etwa noindex, nofollow oder Steuerungen für Snippets. Sie unterscheidet sich von der robots.txt, die das Crawling begrenzt, und vom Canonical, das eine bevorzugte Duplikat-URL angibt.
Wie sollte ich das prüfen?
Prüfen Sie das HTML nach dem Rendering, die Antwort-Header und den Zugriff für Crawler. Vergewissern Sie sich, dass die Anweisung auf der vorgesehenen kanonischen Variante steht und nicht auf notwendiger Navigation oder auf URLs der Sitemap. Prüfen Sie nach dem Deployment erneut, weil Cache und Template-Bedingungen die Ausgabe verändern können.