Никто не голосовал за компанию, которая теперь лицензирует интернет

Cloudflare представила новую структуру ценообразования 1 июля, заменив свою давнюю модель «оплата за сканирование» (pay-per-crawl) схемой «оплата за использование» (pay-per-use), которая выплачивает вознаграждение издателям каждый раз, когда система ИИ потребляет их контент. Изменение также вводит автоматическую блокировку краулеров смешанного использования на страницах, содержащих рекламу, что вступит в силу 15 сентября. Этот сдвиг превращает CDN-провайдера и поставщика услуг безопасности в фактического привратника, определяющего, кто может читать интернет и на каких условиях, — шаг, который может изменить экономику обучения ИИ и всю экосистему интернета.

Почему это изменение цен имеет значение

В рамках старой системы бот, желающий получить доступ к странице, платил Cloudflare комиссию за каждый запрос. Комиссия шла Cloudflare, а не владельцу сайта. Новая модель меняет этот поток: когда модель ИИ обращается к странице, издатель получает выплату от Cloudflare. Выплаты — это хорошо. Это приносит деньги владельцам сайтов.

Практический эффект сразу же коснется всех, кто создает краулеры для ИИ. Если краулер классифицируется как «смешанного использования» (mixed use) — то есть он одновременно индексирует страницы для поиска и извлекает контент для обучения — Cloudflare по умолчанию блокирует его на любой странице, где отображается реклама. Чтобы получить доступ, оператор должен либо платить по тарифам Cloudflare, либо смириться с тем, что эти страницы недоступны.

Политика, лежащая в основе изменений

Спецификация продуктов Cloudflare делит ИИ-краулеры на три категории:

  • Search — боты, которые индексируют страницы для работы поисковой системы.
  • Agent — боты, которые извлекают информацию для разговорного ИИ или аналогичных агентов.
  • Training — боты, которые собирают текст, изображения или другие данные для обучения моделей машинного обучения.

Классификация не продиктована законом или отраслевым стандартом; её определяет внутренняя команда Cloudflare. Эта же команда распределяет каждого бота по категориям — например, считается ли исследовательский краулер «агентом» или «тренером», или относится ли архивный бот к категории «поисковых».

Эти классификации напрямую влияют на то, будет ли бот заблокирован, сколько за него будет взиматься плата и получит ли издатель выплату.

Кто выигрывает, а кто проигрывает

Издатели

Владельцы сайтов теперь получают новый источник дохода. Каждый раз, когда модель ИИ читает их статью, Cloudflare отправляет им выплату.

Разработчики ИИ

Стартапы и исследовательские лаборатории, полагающиеся на большие и разнообразные наборы данных, теперь сталкиваются с дополнительным уровнем расходов. Если краулер не входит в утвержденный список Cloudflare, разработчик должен либо платить за каждое использование, либо потерять доступ к значительной части интернета.

Бизнес-логика дефицита

Модель Cloudflare создает дефицит для функционирования маркетплейса. По умолчанию боты смешанного использования блокируются на страницах с рекламой, что превращает каждый запрос в оплачиваемое событие. Если бы компания заблокировала всех ботов, она бы уничтожила собственный источник дохода. Таким образом, выборочная блокировка защищает прибыль и вынуждает операторов ботов вступать в платные отношения.

Этот сдвиг также использует огромную базу пользователей Cloudflare на бесплатном тарифе. Миллионы сайтов зарегистрировались, потому что бесплатный план предлагал простые услуги CDN и безопасности. Этот «бесплатный» доступ был стратегией привлечения клиентов, а не благотворительностью. Теперь эти сайты принадлежат сети, которая приносит доход Cloudflare, когда ИИ потребляет их контент, но сайты никак не могут повлиять на ценообразование или категории политики, определяющие, кто получает выплаты.

Итог

Пересмотр модели Cloudflare в сторону оплаты за использование — это не просто новая строка доходов; это дает компании право классифицировать, взимать плату и, в конечном счете, решать, какие ИИ-краулеры могут читать интернет.