Was Googlebot bedeutet
Googlebot ist ein Crawler. Er simuliert keinen Besucher und garantiert nicht, dass jede URL indexiert wird. Google dokumentiert eine mobile und eine Desktop-Variante von Googlebot, viele Websites werden jedoch vor allem mit dem mobilen Crawler bewertet. Entdeckung, Crawlbarkeit, HTTP-Statuscode, Rendering und die Auswahl für den Index hängen zusammen, sind aber unterschiedliche Stufen.
Entscheidungsregel und Belege
Steuern Sie über Zugriffs- und robots-Regeln, was ein Crawler abrufen darf. Die Indexierung steuern Sie über Indexierungsanweisungen und Ihre Inhaltsrichtlinien. Eine Sitemap ist ein Hinweis zur Entdeckung von URLs, kein Befehl zur Indexierung. Eine User-Agent-Angabe allein beweist außerdem nicht, dass eine Anfrage von Google stammt.
Praktischer Ablauf
User-agent: Googlebot
Disallow: /private/
# Index control is separate: use noindex on a crawlable page when appropriate.Die Entdeckung durch Googlebot beginnt meist über crawlbare Links, Sitemaps ergänzen die Liste der URLs. JavaScript-Navigation ohne echte href-Ziele, Seiten hinter einem Login und gesperrte Ressourcen können verhindern, dass Google denselben Pfad oder denselben gerenderten Inhalt sieht wie ein Besucher im Browser.
- Legen Sie getrennt fest, welche URLs öffentlich, crawlbar und indexierbar sein sollen.
- Prüfen Sie für Beispielseiten die robots-Regeln, den HTTP-Status, die kanonischen Tags und Login-Hürden.
- Sorgen Sie für konsistente interne Links und eine Sitemap mit den bevorzugten indexierbaren URLs.
- Verifizieren Sie verdächtigen Crawler-Traffic über die von Google dokumentierte Methode und vertrauen Sie nicht allein einem Header.
- Nutzen Sie Search Console und Logfiles als ergänzende Belege und halten Sie Datum und Umfang fest.
Verifizierung und häufige Fehler
Halten Sie fest, welche URLs Sie getestet haben, bei welchem User-Agent oder welcher verifizierten Quelle, welcher Status vorlag, wie die robots-Regeln wirkten und welche Ressourcen für das Rendering nötig waren. Kennzeichnen Sie nicht verfügbare Belege als nicht verfügbar, statt einen erfolgreichen Crawl abzuleiten.