Der X-Robots-Tag ist ein HTTP-Antwort-Header, der Crawlern für eine URL Anweisungen zur Indexierung oder zu Snippets gibt. Besonders nützlich ist er dort, wo HTML-Meta-Tags nicht verfügbar sind. Der X-Robots-Tag steuert das Verhalten berechtigter Crawler auf der Ebene der HTTP-Antwort. Er ersetzt keine klare Richtlinie für URL, Canonical und Zugriff. robots.txt ist eine andere Steuerungsmöglichkeit.
Definition und Abgrenzung
Der X-Robots-Tag steuert das Verhalten berechtigter Crawler auf der Ebene der HTTP-Antwort. Er ersetzt keine klare Richtlinie für URL, Canonical und Zugriff. robots.txt ist eine andere Steuerungsmöglichkeit.
Praktischer Ablauf
- Entscheiden Sie, ob die URL indexiert, mit einem Snippet angezeigt, bei der Linkverfolgung berücksichtigt oder aus den Suchergebnissen eines bestimmten Crawlers herausgehalten werden soll.
- Geben Sie die Anweisung auf der vorgesehenen finalen Antwort aus, nicht nur auf einer Zwischen-Weiterleitung.
- Prüfen Sie die Header mit einer Anfrage, die dem öffentlichen Weg folgt, und notieren Sie den finalen Status.
- Prüfen Sie, ob sich Meta-robots im HTML und Header-Anweisungen nicht widersprechen.
- Testen Sie nach Änderungen an CDN, Cache oder Anwendung erneut, weil Header dabei umgeschrieben werden können.
FAQ
Kann der X-Robots-Tag auf HTML-Seiten verwendet werden?
Ja. Der HTTP-Header kann Robots-Anweisungen sowohl für HTML-Seiten als auch für Dateien wie PDFs festlegen.
Was kann verhindern, dass ein Crawler den Header sieht?
Ein Crawling-Block oder eine nicht erreichbare Ressource kann den Abruf verhindern. Prüfen Sie die tatsächliche Antwort, die der Crawler abrufen darf.