Wirkungsweise und Entscheidung
robots.txt ist eine öffentliche Textdatei im Stammverzeichnis, die konformen User-Agents Crawling-Regeln vorgibt. Die Regeln beziehen sich auf Pfade und einzelne Agenten. Ein zu breites Präfix oder eine fehlerhaft ausgelieferte Datei kann deshalb mehr blockieren als beabsichtigt.
Nutzen Sie die Datei für gezielte Entscheidungen zum Crawling, nicht für Geheimhaltung oder die Entfernung aus den Ergebnissen. Halten Sie Rendering-Ressourcen öffentlicher Seiten zugänglich. Verwenden Sie ein passendes noindex oder eine geeignete Entfernungsrichtlinie, wenn eine URL nicht in der Suche erscheinen soll.
Was Sie steuern können
robots.txt authentifiziert keine Besucher und garantiert nicht die Deindexierung von URLs, die einem Crawler bereits bekannt sind.
Praktischer Ablauf
- Rufen Sie die Datei im Stammverzeichnis des kanonischen Hosts ab.
- Testen Sie die tatsächlichen Präfixe und User-Agent-Gruppen.
- Erlauben Sie die Ressourcen, die für das Rendering öffentlicher Seiten nötig sind.
- Testen Sie erneut nach Änderungen an Host, Framework oder CDN.
FAQ
Entfernt Disallow eine bereits indexierte URL?
Die Datei steuert das Crawling, nicht die Entfernung aus dem Index. Eine von außen gefundene URL kann einer Suchmaschine trotzdem bekannt sein.
Eignet sich robots.txt für vertrauliche Informationen?
Nein. Schützen Sie private Inhalte durch Authentifizierung oder andere Zugriffskontrollen.