Ніхто не обирав компанію, яка тепер ліцензує весь інтернет

Cloudflare запровадила нову структуру ціноутворення 1 липня, замінивши свою давню модель «оплати за кожен обхід» схемою «оплати за використання», яка виплачує видавцям кошти щоразу, коли система ШІ споживає їхній контент. Зміна також передбачає автоматичне блокування краулерів змішаного використання на сторінках, що містять рекламу, що набуде чинності 15 вересня. Цей перехід перетворює CDN-провайдера та постачальника послуг безпеки на фактичного контролера доступу до того, хто може читати веб і на яких умовах, — крок, що може змінити економіку навчання ШІ та ширшу екосистему інтернету.

Чому це коригування цін має значення

За старої системи бот, який хотів отримати сторінку, платив Cloudflare комісію за кожен запит. Ця комісія йшла Cloudflare, а не власнику сайту. Нова модель змінює цей порядок: коли модель ШІ отримує доступ до сторінки, видавець отримує виплату від Cloudflare. Сама виплата — це добре. Це приносить гроші власникам сайтів.

Практичний ефект миттєво відчують усі, хто розробляє краулери для ШІ. Якщо краулер класифікується як такий, що має «змішане використання» — тобто він водночас індексує сторінки для пошуку та витягує контент для навчання — Cloudflare за замовчуванням блокує його на будь-якій сторінці, де розміщується реклама. Щоб отримати доступ, оператор має або платити за тарифом Cloudflare, або погодитися з тим, що ці сторінки закриті.

Політична структура, що стоїть за цими змінами

Специфікація продуктів Cloudflare групує ШІ-краулери у три категорії:

  • Search — боти, які індексують сторінки для роботи пошукової системи.
  • Agent — боти, які отримують інформацію для розмовного ШІ або подібних агентів.
  • Training — боти, які збирають текст, зображення або інші дані для навчання моделі машинного навчання.

Ця категоризація не диктується законом чи галузевим стандартом; її визначає внутрішня команда Cloudflare. Ця ж команда призначає кожному боту категорію — наприклад, чи вважати краулер, орієнтований на дослідження, «агентом» чи «тренером», або чи вважати архівного бота «пошуковим».

Ці класифікації безпосередньо впливають на те, чи буде бот заблокований, скільки йому буде нараховано і чи отримає видавець виплату.

Хто виграє, а хто програє

Видавці

Власники сайтів тепер отримують нове джерело доходу. Щоразу, коли модель ШІ читає їхню статтю, Cloudflare надсилає їм виплату.

Розробники ШІ

Стартапи та дослідницькі лабораторії, які покладаються на великі та різноманітні набори даних, тепер стикаються з додатковим рівнем витрат. Якщо краулер не входить до схваленого списку Cloudflare, розробник має або платити за використання, або втратити доступ до значної частини інтернету.

Бізнес-логіка, що стоїть за дефіцитом

Модель Cloudflare створює дефіцит для функціонування ринку. За замовчуванням боти змішаного використання блокуються на сторінках з рекламою, перетворюючи кожен запит на подію, що підлягає оплаті. Якби компанія заблокувала всіх ботів, вона б позбавила себе власного джерела доходу. Тому вибіркове блокування захищає прибутковість і змушує операторів ботів переходити на платні відносини.

Ця зміна також використовує величезну базу користувачів безкоштовного тарифу Cloudflare. Мільйони сайтів зареєструвалися, тому що безкоштовний план пропонував прості послуги CDN та безпеки. Цей «безкоштовний» доступ був стратегією залучення клієнтів, а не благодійною пропозицією. Тепер ці сайти належать мережі, яка генерує дохід для Cloudflare, коли ШІ споживає їхній контент, але сайти не мають права голосу щодо ціноутворення або категорій політики, які визначають, хто отримує виплати.

Підсумок

Реформа системи оплати за використання від Cloudflare робить більше, ніж просто додає новий рядок доходів; вона дає компанії владу маркувати, стягувати плату та, зрештою, вирішувати, які ШІ-краулери можуть читати веб.