Модель лицензирования ИИ-краулеров Cloudflare, запущенная 1 июля, заменила старую схему «оплаты за каждый обход» (pay-per-crawl) системой «оплаты по факту использования» (pay-per-use), которая взимает плату каждый раз, когда сервис искусственного интеллекта считывает страницу. Этот переход — не просто корректировка ценника; он дает одной частной компании право решать, кто может иметь доступ к публичному вебу и на каких условиях.

Почему этот сдвиг важен

В течение многих лет бесплатный тариф Cloudflare предоставлял миллионам сайтов дешевый способ повысить производительность и отразить нежелательный трафик. Когда бот запрашивал страницу, оператор платил фиксированную сумму за каждый обход. Новая модель меняет эти отношения местами: издатели получают выплаты каждый раз, когда модель ИИ потребляет их контент. На первый взгляд это кажется победой для владельцев сайтов, которые наконец-то получают свою долю в «пироге ИИ», растущем за счет их труда.

Модель также вводит три новые категории для ИИ-краулеров — Search (Поиск), Agent (Агент) и Training (Обучение) — и передает полномочия по отнесению бота к любой из этих категорий непосредственно в спецификации продуктов Cloudflare. Компания сама решает, является ли исследовательский бот легитимным «Агентом» или ботом для «Обучения», является ли инструмент небольшой команды сервисом «Поиска» или «нелицензированным вором». Эти классификации определяют применяемые тарифы и, начиная с 15 сентября, то, будет ли бот полностью заблокирован на страницах с рекламой.

Механика контроля

  • Три категории, один привратник — Cloudflare единолично определяет три группы. Никаких внешних органов по стандартизации, никаких отраслевых консорциумов, никаких общественных консультаций. Бот, попавший в категорию «Training», сталкивается с более высокими сборами, чем бот, помеченный как «Search», даже если лежащая в основе деятельность почти идентична.
  • Блокировка по умолчанию на страницах с рекламой — с середины сентября любому краулеру смешанного использования, попадающему на страницу с рекламой, будет отказано в доступе, если он не соответствует критериям Cloudflare. Блокировка автоматическая; единственный способ обойти ее — платить по тарифу, установленному Cloudflare для данной категории.
  • Маркетплейс с листом ожидания — доступ к «лицензированному» вебу больше не зависит только от технических возможностей. Компании, желающие осуществлять масштабный сбор данных, должны подать заявку, чтобы попасть в одобренный список Cloudflare. Те, кто остался за бортом, стоят перед жестким выбором: принять цену, продиктованную Cloudflare, или потерять возможность скрейпить огромную часть интернета.
  • Доход без права голоса — владельцы сайтов, получающие выплаты, не имеют права голоса в том, как распределяются категории, как меняются тарифы или кто попадает в белый список. Структура ценообразования и само определение «приемлемого» скрейпинга прописаны в корпоративной спецификации продукта, а не в процессе разработки публичной политики.

Кто выигрывает, а кто проигрывает

Издатели — непосредственной выгодой является новый источник дохода. Каждый раз, когда модель ИИ читает статью, владелец сайта получает чек. Для небольших издателей, которым трудно монетизировать трафик, этот денежный поток может быть значимым.

Разработчики и исследователи ИИ — те, кто может позволить себе тарифы Cloudflare и обеспечит себе место в белом списке, продолжат масштабно обучать и запускать модели.

Стартапы, open-source проекты и независимые исследователи — не имея места в белом списке, они вынуждены либо платить по любому тарифу, установленному Cloudflare, либо терять доступ к значительной части веба.

Интернет-экосистема в целом — превращая доступ к публичному вебу в лицензируемую услугу, Cloudflare концентрирует в своих руках форму «цифрового привратничества», которая традиционно принадлежала слабо регулируемой среде с множеством участников.

Скрытая цена дефицита

Блокировку ботов долгое время представляли как защитную меру против спама, скрейпинга и злоупотребления пропускной способностью. В новой модели Cloudflare блокировка является демонстрацией рычага влияния; реальным продуктом является счетчик, который измеряет каждый просмотр страницы и прикрепляет к нему ценник. Компания может одним переключением тумблера создать дефицит для всех сразу, потому что она же управляет маркетплейсом, продающим этот доступ.

Бесплатный тариф, который привлек большую часть сегодняшнего веб-трафика, никогда не был благотворительностью. Это была стратегическая точка входа, которая обеспечила Cloudflare доминирование на рынке, позволив ей позже монетизировать это доминирование через модель лицензирования. Теперь та же инфраструктура, которая когда-то демократизировала ускоренную загрузку страниц, также решает, кто имеет право их читать.

Контраргумент: плата за контент, который питает ИИ

Аргумент в пользу новой системы прост: разработчики ИИ извлекали прибыль из общедоступных текстов, изображений и кода, не выплачивая компенсацию авторам. Модель Cloudflare создает цикл платежей, который может стимулировать создание более качественного контента и дать издателям долю в экономике ИИ. Она также предлагает четкий и исполнимый способ отличить безобидных поисковых ботов от масштабных операций по сбору данных, что потенциально может ограничить злоупотребления.

Однако эти преимущества не отменяют того факта, что правила устанавливаются в одностороннем порядке. Даже если доля выручки будет щедрой, отсутствие демократического процесса означает, что у общественности нет возможности оспорить решения, если категории окажутся произвольными или если тарифы станут эксплуататорскими. Эта модель меняет один набор непрозрачных решений (эвристики блокировки рекламы) на другой, имеющий гораздо более серьезные финансовые последствия.

За чем следить дальше

Основной вывод

Пересмотр ценовой политики Cloudflare, вступивший в силу 1 июля, превращает чтение веб-страницы в лицензируемую транзакцию, при которой правила устанавливает и сборы собирает одна частная компания. Хотя издатели наконец-то получают доход от потребления контента с помощью ИИ, более масштабным последствием становится новая форма цифрового гейткипинга, которая меняет правила доступа к открытому интернету. Настоящая проблема не в цене, а в концентрации контроля в пространстве, которое долгое время считалось открытым.