Niemand hat für das Unternehmen gestimmt, das nun das Web lizenziert

Cloudflare hat am 1. Juli eine neue Preisstruktur eingeführt und sein langjähriges „Pay-per-Crawl“-Modell durch ein „Pay-per-Use“-Modell ersetzt, bei dem Publisher jedes Mal bezahlt werden, wenn ein KI-System deren Inhalte konsumiert. Die Änderung führte zudem die automatische Blockierung von Mixed-Use-Crawlern auf Seiten mit Werbung ein, die am 15. September in Kraft tritt. Dieser Wandel macht den CDN- und Sicherheitsanbieter zum De-facto-Gatekeeper darüber, wer das Web zu welchen Bedingungen lesen darf – ein Schritt, der die Wirtschaftlichkeit des KI-Trainings und das gesamte Internet-Ökosystem verändern könnte.

Warum diese Preisanpassung wichtig ist

Im alten System zahlte ein Bot, der eine Seite abrufen wollte, eine Gebühr pro Anfrage an Cloudflare. Die Gebühr ging an Cloudflare, nicht an den Website-Betreiber. Das neue Modell kehrt diesen Fluss um: Wenn ein KI-Modell auf eine Seite zugreift, erhält der Publisher eine Zahlung von Cloudflare. Der Zahlungsaspekt ist positiv. Er bringt Geld zu den Website-Betreibern.

Die praktischen Auswirkungen treffen sofort jeden, der einen KI-Crawler entwickelt. Wenn der Crawler als „Mixed Use“ eingestuft wird – das heißt, er indiziert Seiten für die Suche und extrahiert gleichzeitig Inhalte für das Training –, blockiert Cloudflare ihn standardmäßig auf allen Seiten, die Werbung ausspielen. Um Zugriff zu erhalten, muss der Betreiber entweder den Cloudflare-Tarif bezahlen oder akzeptieren, dass diese Seiten tabu sind.

Das regulatorische Gerüst hinter dem Wechsel

Die Produktspezifikation von Cloudflare unterteilt KI-Crawler in drei Kategorien:

  • Search – Bots, die Seiten indizieren, um eine Suchmaschine zu betreiben.
  • Agent – Bots, die Informationen für eine konversationelle KI oder einen ähnlichen Agenten abrufen.
  • Training – Bots, die Texte, Bilder oder andere Daten sammeln, um ein Machine-Learning-Modell zu trainieren.

Die Kategorisierung wird weder durch Gesetze noch durch Industriestandards vorgegeben; sie wird von Cloudflares internem Team entschieden. Dieses Team ordnet jedem Bot eine Kategorie zu – zum Beispiel, ob ein forschungsorientierter Crawler als „Agent“ oder „Trainer“ gilt oder ob ein Archiv-Bot als „Search“-Bot zählt.

Diese Klassifizierungen beeinflussen direkt, ob ein Bot blockiert wird, wie hoch die Gebühren sind und ob der Publisher eine Zahlung erhält.

Wer gewinnt, wer verliert

Publisher

Website-Betreiber generieren nun eine neue Einnahmequelle. Jedes Mal, wenn ein KI-Modell ihren Artikel liest, schickt Cloudflare ihnen eine Zahlung.

KI-Entwickler

Start-ups und Forschungslabore, die auf große, vielfältige Datensätze angewiesen sind, sehen sich nun einer zusätzlichen Kostenkomponente gegenüber. Wenn ein Crawler nicht auf der Liste der von Cloudflare zugelassenen Crawler steht, muss der Entwickler entweder die Pay-per-Use-Gebühr bezahlen oder den Zugriff auf einen erheblichen Teil des Webs verlieren.

Die Geschäftslogik hinter der Verknappung

Das Modell von Cloudflare schafft Verknappung, um einen Marktplatz zu betreiben. Standardmäßig werden Mixed-Use-Bots auf Seiten mit Werbung blockiert, wodurch jede Anfrage zu einem abrechenbaren Ereignis wird. Wenn das Unternehmen alle Bots blockieren würde, würde es seine eigene Einnahmequelle vernichten. Die selektive Blockierung schützt somit das Geschäftsergebnis und zwingt Bot-Betreiber in eine zahlungspflichtige Beziehung.

Der Wandel nutzt zudem die massive Nutzerbasis von Cloudflares kostenlosem Tarif aus. Millionen von Websites haben sich angemeldet, weil der kostenlose Plan einfache CDN- und Sicherheitsdienste bot. Dieser „kostenlose“ Zugang war eine Strategie zur Kundengewinnung und kein wohltätiges Angebot. Jetzt gehören diese Seiten zu einem Netzwerk, das für Cloudflare Einnahmen generiert, wenn KI deren Inhalte konsumiert, aber die Seiten haben kein Mitspracherecht bei der Preisgestaltung oder den Richtlinienkategorien, die darüber entscheiden, wer bezahlt wird.

Fazit

Die Umstellung auf Pay-per-Use durch Cloudflare bewirkt mehr als nur eine neue Einnahmequelle; sie gibt dem Unternehmen die Macht, zu kennzeichnen, abzurechnen und letztendlich zu entscheiden, welche KI-Crawler das Web lesen dürfen.