Crawl-Rate-Limiter: das Ende des Tools im Januar 2024
Wie von Google angekündigt, wurde das Tool zur Begrenzung der Crawl-Rate in der Google Search Console am 8. Januar 2024 entfernt.
Die damalige Search-Console-Einstellung gibt es nicht mehr. Googles automatische Reaktion auf Serverantworten ersetzt keinen Nachweis, dass eine bestimmte URL indexiert wird. Falls du heute ungewöhnlich viele Abrufe siehst, prüfe zuerst URL-Muster und Serverlogs; akute Hostlast ist ein gesonderter Notfall.
Das Tool zur Begrenzung der Crawl-Rate
Es handelt sich um ein Feature in einer älteren Version der Google Search Console, mit dem du Google mitteilen konntest, dass deine Website weniger intensiv gecrawlt werden sollte als derzeit. Früher riet Google davon ab, die Crawl-Rate zu begrenzen, es sei denn, es gab klare Probleme mit der Serverauslastung, die auf eine Überlastung durch den Googlebot zurückzuführen waren.
Google begründete die Einstellung im November 2023 mit verbesserter automatischer Crawling-Steuerung und geringerer Nützlichkeit des alten Schalters.
Googlebot reagiert auf Serverantworten: wiederholte 5xx-Antworten oder deutlich höhere Antwortzeiten können das Crawling automatisch bremsen. Solche Fehler sind kein alltäglicher SEO-Hebel; sie beeinflussen den Host insgesamt.
Falls dein Server ungewöhnlich viele Google-Anfragen erhält, lies die aktuelle Google-Anleitung zur Reduktion der Crawling-Frequenz: erst Zugriffslogs und URL-Struktur prüfen, Notfallantworten wie 503 oder 429 nur kurzfristig und begründet einsetzen. Ein dauerhafter Fehlercode wäre keine saubere Indexierungsstrategie.
Google verglich den alten Limiter mit der automatischen Reaktion: Die Einstellung konnte mehr als einen Tag brauchen, während der Crawler auf tatsächliche Serverprobleme schneller reagiert. Das ist die Begründung der damaligen Abschaffung, kein Versprechen einer bestimmten Reaktionszeit für deine Website.
Google schrieb, dass nur wenige Websiteinhaber die Funktion verwendeten und viele von ihnen das Minimum wählten. Für die heutige Praxis ist entscheidend, ob dein Server tatsächlich überlastet ist und welche URL-Typen die Anfragen auslösen.
Änderungen bei der Crawling-Frequenz
Google hat angekündigt, dass mit der Abschaffung des Crawl-Limiter-Tools die minimale Crawling-Geschwindigkeit auf ein niedrigeres Niveau gesetzt wird, vergleichbar mit den früheren Crawl-Raten-Limits. Google erläuterte damals, dass frühere niedrig eingestellte Limits unter Bedingungen geringen Suchinteresses und ohne unnötige Bandbreitennutzung weiter berücksichtigt werden sollten. Daraus folgt kein heute manuell einstellbarer Schalter.
Ob Crawling deine Infrastruktur belastet, zeigt der aktuelle Log- und Antwortzeitbefund, nicht das Fehlen des alten Tools.
Ausblick
Das Tool wurde am 8. Januar 2024 eingestellt. Wer heute hohe Last durch Google-Crawler feststellt, grenzt die betroffenen URL-Muster ein und folgt erst dann dem aktuellen Google-Notfallweg.
Stand Oktober 2026
Das alte Search-Console-Tool ist weiterhin kein Bedienweg. Google dokumentiert heute: Prüfe bei auffälligem Crawling zunächst Logs, URL-Muster und Serverantworten. Bei einem kurzfristigen echten Kapazitätsnotfall nennt Google 500-, 503- oder 429-Antworten als technische Signale; Retry-After ist bei 503 und 429 möglich. Solche Antworten reduzieren Crawling für den gesamten Host und sind keine Standardmassnahme zur Indexierung.
Über die Autorin
Lisa-Marie Unger
Lisa-Marie hat 2018 Publizistik und Kommunikationswissenschaften abgeschlossen und arbeitet bei netpulse AG als Projektleiterin für Google Ads. Sie informiert über SEO (Suchmaschinenoptimierung) und führt Schulungen durch.
