Bedeutung und Umfang
Crawl-Budget ist eine praktische Bezeichnung dafür, wie viel Crawling eine Suchmaschine bereit und in der Lage ist, für eine Website aufzuwenden. Google beschreibt Crawl-Nachfrage und Crawl-Kapazität als wichtige Teile dieses Prozesses. Am meisten zählt es bei großen oder häufig geänderten Websites, wo doppelte URLs, Fehler und schwache interne Erschließung mit Seiten konkurrieren, die tatsächlich erneut gecrawlt werden müssen.
So prüfen Sie es
Gehen Sie von URL-Gruppen aus, nicht von einem allgemeingültigen Crawl-Kontingent. Vergleichen Sie den Bestand kanonischer, indexierbarer URLs mit den URLs aus Logdateien oder der Search-Console-Berichterstattung, sofern verfügbar. Achten Sie auf Parameterkombinationen, Weiterleitungen, Soft-404-Fehler, dünne Seitenreihen in der Paginierung und verwaiste Seiten. Eine niedrige Crawl-Anzahl ist für sich allein kein Problem, wenn die wichtige Menge bereits gefunden und aktualisiert wird.
- Legen Sie den Satz bevorzugter, indexierbarer URLs fest und trennen Sie ihn von nützlichen, aber nicht indexierbaren Hilfs-URLs.
- Crawlen Sie typische Templates, um doppelte Muster, Weiterleitungsketten, Fehler und nicht kanonische Links zu finden.
- Machen Sie wichtige Seiten über übliche interne Links und eine aktuelle Sitemap auffindbar.
- Reduzieren Sie ungewollt erzeugte URLs, bevor Sie mehr Crawl-Kapazität anfragen.
- Prüfen Sie Logdateien oder Suchberichte nach den Änderungen erneut und kennzeichnen Sie nicht verfügbare Belege als nicht verfügbar.
Praktische Entscheidungen
Priorisieren Sie die URL-Qualität und die Zuverlässigkeit der Auslieferung. Bündeln Sie doppelte Routen, reparieren Sie defekte interne Pfade und sorgen Sie dafür, dass kanonische Seiten direkt erreichbar sind. Eine Sitemap ist eine Erklärung bevorzugter Seiten; sie ist keine Anfrage, die Crawling garantiert. Änderungen sollten schrittweise erfolgen und gemessen werden, denn breite Sperrregeln können Seiten verbergen, die entdeckt werden müssen.
Grenzen und Fehler
Das Crawl-Budget ist kein Stellrad für kleine Websites und kein Ersatz für hilfreiche Inhalte oder Indexierbarkeit. Sperren Sie eine URL nicht allein deshalb, weil sie unwichtig wirkt, ohne zu prüfen, ob sie Rendering, Navigation oder die Erkennung kanonischer Seiten unterstützt. Ein schnellerer Server kann die Crawl-Kapazität verbessern, macht aber nicht jede erzeugte URL crawl-würdig.