Cloudflare Pay Per Crawl: Start 2025 und Stand 2026

Cloudflare stellte 2025 Pay Per Crawl als Möglichkeit vor, Zugriffe bestimmter KI-Crawler zu erlauben, zu berechnen oder zu sperren. Eine identische Voreinstellung für jede Cloudflare-Domain lässt sich aus der Produktankündigung nicht ableiten. Welche Regel für deine Website gilt, prüfst du im tatsächlichen Cloudflare-Setup.

Was ist Pay Per Crawl?

Pay Per Crawl ist ein Angebot für Websitebetreiber, einen Preis je Zone für den Zugriff teilnehmender KI-Crawler festzulegen. Es nutzt HTTP 402 «Payment Required», wenn ein Crawler ohne passende Zahlungsabsicht geschützte Inhalte anfordert. Das ist eine Zugangsregel für bestimmte KI-Crawler, kein allgemeines Crawling-Budget-Werkzeug für Googlebot.

Cloudflare beschreibt zwei Antworten: Ein KI-Crawler mit gültig bekundeter Zahlungsabsicht kann HTTP 200 und den Inhalt erhalten. Ohne diese Absicht bekommt er bei einer kostenpflichtigen Zone HTTP 402 mit Preisangabe. Bestehende WAF- und Bot-Management-Sperren haben Vorrang; die Gebührenfunktion hebt eine Blockregel nicht auf.

Drei Optionen für Website-Betreiber

Allow: frei

Charge: gegen Bezahlung

Block: gesperrt

Publisher haben drei verschiedene Optionen für einen Crawler: Allow (dem Crawler kostenlosen Zugang gewähren), Charge (Zahlung zum konfigurierten, domänenweiten Preis verlangen) oder Block (vollständigen Zugang verweigern).

KI-Crawler-Zugang und Suche getrennt betrachten

Die Entscheidung über KI-Crawler-Zugang ist nicht identisch mit der Frage, ob Googlebot deine Seite für die Suche abrufen darf. Training, Abruf für aktuelle Antworten und Sichtbarkeit in Suchergebnissen sind getrennte Verwendungen. Eine Pay-Per-Crawl-Einstellung belegt für sich weder eine bessere noch eine schlechtere SEO- oder KI-Sichtbarkeit.

Prüfe deshalb, welche Crawler deine Inhalte abrufen sollen und welche Lizenz- oder Zugangsregel gewollt ist. Aus dem Ausschluss eines bestimmten Bots lässt sich keine sichere Aussage über Training, Grounding oder späteren Traffic aller KI-Produkte ableiten.

Für wen lohnt sich das Modell?

Ob Einnahmen entstehen, hängt von angebotenen Inhalten, dem Preis, teilnehmenden Crawlern und tatsächlichen Anfragen ab. Aus der Produktbeschreibung lässt sich keine allgemeine Erlösschwelle für deine Website ableiten. Du brauchst eigene Zahlen zu Anfragen, Preis und tatsächlich bezahlten Zugriffen.

Die Entscheidung hat einen möglichen Zielkonflikt: Du möchtest Inhalte schützen oder lizenzieren und zugleich für passende Systeme zugänglich bleiben. Ob ein bezahlter Zugriff tatsächlich genutzt wird oder Traffic verändert, kann nur dein eigener Vorher-Nachher-Vergleich zeigen.

Auswirkungen auf deine Website-Strategie

Für Publisher mit vielen geschützten Inhalten

Preis, erwartete Anfragen und tatsächliche Zahlungen im eigenen Cloudflare-Konto messen. Ein pauschaler Monatsumsatz ist ohne echte Anfragen und Zahlungen nicht seriös zu nennen.

Für kleinere Websites

Die Zielsetzung vor der Regel festhalten: kostenlos erlauben, berechnen oder sperren. Ob sich Zugriffe oder Sichtbarkeit verändern, muss für deine Domain und die betroffenen Crawler getrennt beobachtet werden.

Was du jetzt tun solltest

1. Überprüfe deine Cloudflare-Einstellungen: Falls du Cloudflare nutzt, kontrolliere, ob KI-Crawler ungewollt blockiert werden.
2. Bewerte das Ziel: Geht es um Lizenzierung, Zugriffskontrolle oder Auffindbarkeit? Vergleiche die betroffenen Bot-Regeln und verfügbaren Daten.
3. Prüfe die Wirkung: Halte Regel, betroffene Crawler, tatsächliche Zugriffe und mögliche Einnahmen fest. SEO- und KI-Sichtbarkeit werden nicht aus der Bot-Regel allein abgeleitet.

Fazit: Zugriff bewusst steuern

Pay Per Crawl ist ein Zugangs- und Preismodell für KI-Crawler, dessen praktische Reichweite nicht pauschal aus der Ankündigung folgt. Die Regel gehört zum konkreten Bot- und Inhaltsziel deiner Website; Such-Crawling, KI-Nutzung und Umsatz werden getrennt beobachtet.

Stand Oktober 2026

Cloudflare dokumentiert Pay Per Crawl weiterhin als geschlossene Beta. Ein KI-Crawler kann bei passender Zahlungsabsicht HTTP 200 erhalten oder sonst HTTP 402 mit Preisangabe. WAF- und Bot-Management-Sperren gehen vor. Der Stand beschreibt das Produkt, nicht die Konfiguration oder Wirkung auf deiner Domain.

Quellen

• Cloudflare: Einführung Pay Per Crawl 2025.
• Cloudflare: Pay Per Crawl, geschlossene Beta und technische Grenzen.

Mehr dazu: Crawling steuern: Sitemaps, Crawl-Budget und Crawl-Sperren