Was Noindex bedeutet
Noindex steuert die Darstellung im Index, nicht die Zugriffskontrolle. Vertrauliche Inhalte brauchen eine Authentifizierung oder müssen entfernt werden. Die robots.txt ist eine Crawling-Anweisung und kann verhindern, dass ein Crawler ein Meta-noindex überhaupt sieht.
Noindex ist eine Robots-Direktive, mit der Sie konforme Suchcrawler bitten, eine Seite oder Ressource nicht in den Ergebnissen anzuzeigen. Die URL bleibt dabei für Besucher und Links erreichbar.
Ein praktischer Prüfablauf
Wählen Sie für HTML-Seiten die Meta-Robots-Angabe und für Nicht-HTML-Ressourcen den X-Robots-Tag. Die Direktive muss für den Crawler sichtbar bleiben, und der beabsichtigte Indexstatus der Seite sollte eindeutig festgelegt sein.
Was Sie überprüfen sollten
Rufen Sie den gerenderten HTML-Code und die Antwort-Header ab, prüfen Sie die Direktive, kontrollieren Sie die URL-Prüfung und geben Sie dann Zeit für ein erneutes Crawlen, bevor Sie eine Entfernung beurteilen.
Grenzen und häufige Fehler
Blockieren Sie eine URL nicht in der robots.txt und erwarten Sie nicht, dass Google die noindex-Direktive zuverlässig liest. Verwenden Sie noindex auch nicht als Datenschutzmaßnahme.
Bevor Sie noindex setzen, nennen Sie den geschäftlichen und den nutzerbezogenen Grund dafür, dass die URL erreichbar, aber aus der Suche herausgehalten werden soll. Typische Fälle sind eine interne Ergebnisseite, ein zeitlich begrenzter Kampagnenstand oder eine Staging-Umgebung. Wählen Sie dann die passende Auslieferungsmethode, ergänzen Sie eine Regressionsprüfung und halten Sie die Bedingung fest, unter der Sie die Anweisung wieder entfernen. Bei einer Staging-Umgebung behandeln Sie noindex als eine Freigabebedingung neben Zugriffskontrollen und Prüfungen der Produktionsreife, niemals als einzigen Schutz für vertrauliche Inhalte.
Wie die Direktive gesehen wird
Verwenden Sie entweder <meta name="robots" content="noindex"> in einem HTML-Dokument oder X-Robots-Tag: noindex in einer HTTP-Antwort. Der Header kann auch Nicht-HTML-Ressourcen steuern. Blockieren Sie eine URL nicht in der robots.txt, wenn Google sie crawlen muss, um die noindex-Direktive zu sehen.