Cloudflare stabilisce una scadenza per obbligare le aziende di IA a pagare gli editori

Cloudflare ha annunciato un cambiamento epocale nelle proprie politiche, progettato per separare l'indicizzazione di ricerca tradizionale dall'addestramento dell'IA e dai servizi agentici. Implementando nuove e rigorose impostazioni predefinite, il gigante dell'edge computing mira a proteggere la proprietà intellettuale e a creare un ecosistema economico sostenibile per gli editori web.

La fine dei crawler a "uso misto"

In un passo che sfida direttamente lo status quo attuale dello scraping dei dati, Cloudflare ha fissato come scadenza il 15 settembre 2026 per affrontare l'ascesa dei crawler a "uso misto". Si tratta di bot che fondono l'indicizzazione di ricerca tradizionale con l'addestramento di modelli di IA e funzioni agentiche. A partire da tale data, le impostazioni predefinite di Cloudflare bloccheranno automaticamente questi crawler ibridi dall'accesso a qualsiasi pagina che ospiti annunci pubblicitari.

Questo cambiamento di politica si applica a tutti i nuovi clienti Cloudflare, ai nuovi siti creati dai clienti esistenti e a tutti gli attuali utenti del piano gratuito. L'obiettivo è costringere le aziende di IA a distinguere le proprie intenzioni: se un bot vuole indicizzare un sito per la ricerca, segue un percorso; se vuole acquisire dati per l'addestramento di un Large Language Model (LLM), deve seguirne un altro, che potenzialmente richiede una compensazione.

Sfida al dominio del gigante della ricerca

Un fattore determinante dietro questa decisione è il vantaggio sleale percepito dei principali motori di ricerca. Cloudflare ha sottolineato specificamente che il motore di ricerca più grande al mondo — ampiamente identificato con Google — ha attualmente accesso a circa "il doppio delle informazioni" rispetto ai suoi concorrenti nell'ambito dell'IA.

Sebbene Google offra "Google Extended" per consentire agli editori di escludersi dall'addestramento dell'IA senza influire sulla visibilità nelle ricerche, il suo Googlebot di punta continua a effettuare scansioni estese per alimentare funzionalità come gli AI Overviews. L'intervento di Cloudflare mira a livellare il campo di gioco, garantendo che le aziende di IA non possano approfittare delle massive capacità di indicizzazione dei motori di ricerca per addestrare i propri modelli gratuitamente.

Verso modelli "Pay Per Use"

Oltre al semplice blocco, Cloudflare sta attivamente costruendo l'infrastruttura per una nuova economia dei contenuti. L'azienda sta evolvendo il proprio marketplace "Pay Per Crawl" in un modello "Pay Per Use" più sofisticato. In questo quadro, gli editori possono addebitare alle aziende di IA non solo l'atto di recuperare i dati, ma anche quando quel contenuto genera effettivamente valore.

Per testare questo modello, Cloudflare sta collaborando con Ceramic.ai e You.com. Attraverso queste partnership, gli editori possono ricevere una compensazione diretta quando i loro contenuti appaiono nei risultati di ricerca IA di Ceramic o quando You.com accede a materiale premium. Questo cambiamento affronta una criticità fondamentale dell'attuale web: i dati di Cloudflare rivelano che oltre il 50% del traffico dei crawler IA viene sprecato nel recupero di pagine non modificate, un processo che esaurisce sia la larghezza di banda degli editori che le risorse di calcolo dell'IA.

Perché questo è importante per il panorama dell'IA

Poiché il traffico non umano supera ormai quello umano su Internet, l'era dello "scraping gratuito di tutto" sta incontrando un ostacolo. La mossa di Cloudflare segnala una transizione verso un web più regolamentato e transazionale. Per gli sviluppatori di IA, ciò significa che l'era dell'acquisizione di dati senza attriti e a costo zero sta finendo, rendendo necessari rapporti più trasparenti e cooperativi con i creatori di contenuti per garantire la sostenibilità dei dati a lungo termine.

Punti chiave

• Blocco predefinito: A partire dal 15 settembre 2026, Cloudflare bloccherà di default i crawler a "uso misto" dalle pagine supportate da pubblicità.
• Spostamento della monetizzazione: Cloudflare sta passando da un modello "Pay Per Crawl" a un modello "Pay Per Use", consentendo agli editori di addebitare alle aziende di IA in base al valore del contenuto.
• Guadagni di efficienza: La nuova politica mira a ridurre il 50% del traffico di scansione IA attualmente sprecato nel recupero di pagine web non modificate.