Meta-Tags haben unterschiedliche Aufgaben
Meta-Tags sind maschinenlesbare HTML-Elemente im Head-Bereich einer Seite. Manche beschreiben die Seite, manche lenken Crawler, und manche liefern Daten für Vorschauen in sozialen Netzwerken. Wählen Sie sie nach ihrer Funktion aus: Eine Robots-Anweisung steuert, ob eine Seite indexiert werden darf. Eine Meta-Description kann als Snippet erscheinen, und Social-Metadaten sorgen für Link-Vorschauen. Keines davon macht Thin Content oder nicht verfügbare Inhalte zu einem nützlichen Suchergebnis.
Das Title-Tag hängt damit zusammen, ist aber selbst kein Meta-Tag. Suchmaschinen können Titel-Links aus mehreren sichtbaren und strukturierten Signalen erzeugen. Title und Überschrift sollten daher zur Seite passen, statt eine Formulierung mechanisch zu wiederholen. Meta-Descriptions sind Vorschläge für Snippets. Google kann anderen sichtbaren Text verwenden, wenn dieser die Suchanfrage besser trifft.
Robots-Anweisungen und Snippets
| Element | Hauptfunktion | Prüfung |
|---|---|---|
| meta robots noindex | Crawlern mitteilen, eine HTML-Seite nicht zu indexieren | Die Anweisung steht im gecrawlten HTML, und die Seite ist crawlbar |
| X-Robots-Tag | Robots-Anweisung in HTTP-Headern senden | Der Antwort-Header wird für die vorgesehene URL zurückgegeben |
| meta description | Text für die Zusammenfassung der Seite vorschlagen | Er gibt den sichtbaren Inhalt korrekt wieder |
| Open-Graph-Metadaten | Eine Vorschau für soziale Netzwerke liefern | Ein Debugging-Tool zeigt die endgültigen Werte der kanonischen Seite an |
Bei PDFs oder Bildern ist der X-Robots-Tag oft die einzig anwendbare Anweisung, weil es keinen HTML-Head gibt. Bei HTML-Seiten sollten Meta-Robots und Header-Anweisungen einander nicht widersprechen. Eine in der robots.txt gesperrte Seite wird unter Umständen nicht gecrawlt, sodass die noindex-Regel nicht gesehen wird. Sperren und Deindexieren sind deshalb zwei getrennte Entscheidungen.
Die Antwort prüfen
- Rufen Sie die kanonische URL ab und prüfen Sie sowohl das HTML als auch die Antwort-Header.
- Vergleichen Sie Title, Description, Canonical und Robots-Werte mit dem Zweck der sichtbaren Seite.
- Testen Sie alternative Hosts, Varianten mit und ohne Slash am Ende sowie gefilterte URLs auf widersprüchliche Anweisungen.
- Nutzen Sie die URL-Prüfung als nachgelagerten Beleg aus Crawler-Sicht, nicht als einzigen Test der Umsetzung.
- Prüfen Sie nach Änderungen an Caching oder Deployment erneut, weil Templates Werte auf Seitenebene überschreiben können.
Beispiel: Eine paginierte Kategorie kann einen passenden Title und eine passende Description für ihre aktuellen Produkte haben, sollte aber kein noindex aus einem Filter-Template übernehmen. Vergleichen Sie vor einer Änderung am Tag die tatsächliche Antwort, das Canonical-Ziel und die Aufnahme in die Sitemap.
Widersprüchliche Signale
Typische Fehler sind eine Seite mit Statuscode 200 und einer Fehlermeldung, ein Canonical auf eine weitergeleitete URL, eine noindex-Seite in der Sitemap und eine generische Meta-Description, die auf Hunderte Seiten kopiert wurde. Die Lösung sind nicht mehr Tags, sondern ein einheitlicher Zustand über HTTP-Antwort, sichtbaren Inhalt, Canonical, Robots-Anweisung, interne Links und Sitemap.