Eine Meta-Robots-Anweisung legt Entscheidungen fest, etwa noindex, nofollow oder Steuerungen für Snippets. Sie unterscheidet sich von der robots.txt, die das Crawling begrenzt, und vom Canonical, das eine bevorzugte Duplikat-URL kennzeichnet.
Praktische Umsetzung
Legen Sie zuerst die Indexierungsregeln fest: öffentliche URLs, erreichbare, aber ausgeschlossene URLs und die Behandlung von Duplikaten. Setzen Sie eine einheitliche Anweisung über das CMS oder das Template um und prüfen Sie sie in der finalen Antwort des Servers. Verwenden Sie den X-Robots-Tag für Nicht-HTML-Dateien wie PDFs.
Was zu prüfen ist
Prüfen Sie das HTML nach dem Rendering, die Antwort-Header und den Zugriff für Crawler. Achten Sie darauf, dass die Anweisung auf der vorgesehenen kanonischen Variante steht und nicht auf notwendiger Navigation oder auf URLs der Sitemap. Prüfen Sie nach dem Deployment erneut, weil Cache und Template-Bedingungen die Ausgabe verändern können.
Häufige Fehler
Sperren Sie eine URL nicht in der robots.txt und erwarten Sie dann, dass ihr Meta-noindex gesehen wird. Verwenden Sie nofollow nicht als pauschale Regel für die interne Verlinkung.