Cloudflare wyznacza termin, aby zmusić firmy AI do płacenia wydawcom

Cloudflare ogłosiło przełomową zmianę polityki, mającą na celu oddzielenie tradycyjnego indeksowania wyszukiwarek od trenowania modeli AI i usług agentowych. Wprowadzając nowe, rygorystyczne ustawienia domyślne, gigant edge computingu dąży do ochrony własności intelektualnej i stworzenia zrównoważonego ekosystemu ekonomicznego dla wydawców stron internetowych.

Koniec crawlerów typu „mixed-use”

W ruchu, który bezpośrednio rzuca wyzwanie obecnemu status quo w zakresie scrapingu danych, Cloudflare wyznaczyło termin do 15 września 2026 roku, aby odnieść się do wzrostu liczby crawlerów typu „mixed-use”. Są to boty, które łączą tradycyjne indeksowanie wyszukiwarek z trenowaniem modeli AI i funkcjami agentowymi. Od tej daty domyślne ustawienia Cloudflare będą automatycznie blokować tym hybrydowym crawlerom dostęp do wszelkich stron zawierających reklamy.

Ta zmiana polityki dotyczy wszystkich nowych klientów Cloudflare, nowych stron tworzonych przez obecnych klientów oraz wszystkich użytkowników obecnego planu darmowego. Celem jest zmuszenie firm AI do rozróżnienia swoich intencji: jeśli bot chce zaindeksować stronę na potrzeby wyszukiwarki, podąża jedną ścieżką; jeśli chce pobierać dane do trenowania dużego modelu językowego (LLM), musi podążać inną – taką, która potencjalnie wymaga rekompensaty.

Wyzwanie rzucone dominacji giganta wyszukiwarek

Istotnym czynnikiem stojącym za tą decyzją jest postrzegana nieuczciwa przewaga największych wyszukiwarek. Cloudflare szczególnólnie podkreśliło, że największa wyszukiwarka na świecie – powszechnie utożsamiana z Google – ma obecnie dostęp do około „dwukrotnie większej ilości informacji” niż jej konkurenci w dziedzinie AI.

Choć Google oferuje funkcję „Google Extended”, która pozwala wydawcom zrezygnować z trenowania modeli AI bez wpływu na widoczność w wyszukiwarce, jego flagowy Googlebot nadal intensywnie indeksuje strony, aby zasilać funkcje takie jak AI Overviews. Interwencja Cloudflare ma na celu wyrównanie szans, zapewniając, że firmy AI nie będą mogły korzystać z ogromnych możliwości indeksowania wyszukiwarek, aby bezpłatnie trenować swoje modele.

Kierunek: modele „Pay Per Use”

Poza samym blokowaniem, Cloudflare aktywnie buduje infrastrukturę dla nowej gospodarki treści. Firma przekształca swój rynek „Pay Per Crawl” w bardziej zaawansowany model „Pay Per Use”. W ramach tego modelu wydawcy mogą pobierać od firm AI opłaty nie tylko za sam fakt pobierania danych, ale także wtedy, gdy te treści faktycznie generują wartość.

Aby przeprowadzić pilotaż, Cloudflare nawiązało współpracę z Ceramic.ai oraz You.com. Dzięki tym partnerstwom wydawcy mogą otrzymywać bezpośrednie wynagrodzenie, gdy ich treści pojawiają się w wynikach wyszukiwania AI firmy Ceramic lub gdy You.com uzyskuje dostęp do materiałów premium. Ta zmiana rozwiązuje krytyczny problem nieefektywności obecnego internetu: dane Cloudflare pokazują, że ponad 50% ruchu crawlerów AI jest marnowane na ponowne pobieranie niezmienionych stron, co obciąża zarówno przepustowość wydawców, jak i zasoby obliczeniowe AI.

Dlaczego ma to znaczenie dla krajobrazu AI

Ponieważ ruch nie-ludzki przewyższa obecnie ruch ludzki w internecie, era „scrapowania wszystkiego za darmo” dociera do ściany. Ruch Cloudflare sygnalizuje przejście w stronę bardziej uregulowanego i transakcyjnego internetu. Dla twórców AI oznacza to koniec ery bezproblemowego i bezkosztowego pozyskiwania danych, co wymusza budowanie bardziej przejrzystych i kooperacyjnych relacji z twórcami treści, aby zapewnić długoterminową dostępność danych.

Kluczowe wnioski

• Domyślne blokowanie: Od 15 września 2026 r. Cloudflare będzie domyślnie blokować crawlery typu „mixed-use” na stronach wspieranych przez reklamy.
• Zmiana modelu monetyzacji: Cloudflare przechodzi z modelu „Pay Per Crawl” na „Pay Per Use”, co pozwoli wydawcom pobierać opłaty od firm AI w oparciu o wartość treści.
• Wzrost wydajności: Nowa polityka ma na celu ograniczenie marnotrawstwa 50% ruchu crawlerów AI, który obecnie służy do ponownego pobierania niezmienionych stron internetowych.