SEO - Das Googlebot Crawl Rate Feature ist endgültig weg

Wie von Google angekündigt, wurde das Tool zur Begrenzung der Crawl-Rate in der Google Search Console am 8. Januar 2024 entfernt. Google erklärte, dass diese Funktion nicht mehr als notwendig erachtet wird, da sie ihre Crawling-Logik und andere Tools für Publisher verbessert haben.

Wenn du nun versuchst, auf das Tool für eine bestimmte Eigenschaft innerhalb der Google Search Console zuzugreifen, wirst du zu der Mitteilung weitergeleitet, dass das Tool offline ist. Es wird empfohlen, sich auf die verbesserten Crawling-Methoden von Google zu verlassen, um sicherzustellen, dass deine Website effektiv indiziert wird, da das spezifische Begrenzungstool nicht mehr verfügbar ist.

Das Tool zur Begrenzung der Crawl-Rate

Es handelt sich um ein Feature in einer älteren Version der Google Search Console, mit dem du Google mitteilen konntest, dass deine Website weniger intensiv gecrawlt werden sollte als derzeit. Früher riet Google davon ab, die Crawl-Rate zu begrenzen, es sei denn, es gab klare Probleme mit der Serverauslastung, die auf eine Überlastung durch den Googlebot zurückzuführen waren.

Gary Illyes von Google erklärte: "Durch Verbesserungen in unserer Crawling-Logik und anderen Tools, die den Website-Betreibern zur Verfügung stehen, hat die Wirksamkeit dieses Verfahrens abgenommen."

"Googlebot reagiert darauf, wie deine Website - genauer gesagt, der Server, der deine Website hostet - auf die HTTP-Anfragen von Googlebot antwortet. Wenn beispielsweise der Server kontinuierlich HTTP-500-Statuscodes für bestimmte URLs zurückgibt, verlangsamt Googlebot automatisch und fast sofort das Crawling. Ebenso verlangsamt sich Googlebot automatisch, wenn die Antwortzeit für Anfragen deutlich zunimmt. Falls deine Website ein ungewöhnlich intensives Crawling erlebt, das der Server allein nicht bewältigen kann, findest du weitere Informationen in diesem Hilfsartikel", fügte Gary Illyes hinzu.

Illyes erklärte weiter, dass das Tool zur Ratenbegrenzung in der Google Search Console "eine viel langsamere Wirkung hatte". Er betonte, dass es oft mehr als einen Tag dauerte, bis die neuen Begrenzungen auf das Crawling angewendet wurden.

Ausserdem fügte er hinzu, dass dieses Tool von Website-Besitzern "selten" genutzt wurde und diejenigen, die es verwendeten, "in vielen Fällen die Crawling-Geschwindigkeit auf das absolute Minimum reduzierten".

Crawl Rate Veränderungen

Google hat angekündigt, dass mit der Abschaffung des Crawl-Limiter-Tools die minimale Crawling-Geschwindigkeit auf ein niedrigeres Niveau gesetzt wird, vergleichbar mit den früheren Crawl-Raten-Limits. Demzufolge wird Google "die Einstellungen, die einige Website-Besitzer in der Vergangenheit vorgenommen haben, weiterhin respektieren, wenn das Suchinteresse gering ist und unsere Crawler die Bandbreite der Website nicht unnötig beanspruchen", fügte Illyes hinzu.

Es ist also zu hoffen, dass du dieses Tool ohnehin nicht mehr benötigen wirst.

Ausblick

Wenn du das Crawl-Rate-Tool verwendet hast, beachte bitte, dass es nun nicht mehr funktioniert und kein Zugriff mehr darauf möglich ist. In den nächsten Tagen und Wochen solltest du die Auswirkungen dieser Änderung auf deine Crawl-Rate überprüfen.

Quelle: Searchengineland.com