Cloudflare устанавливает крайний срок, чтобы заставить ИИ-компании платить издателям

Cloudflare объявила о масштабном изменении политики, направленном на разделение традиционного поискового сканирования, обучения ИИ и агентских сервисов. Внедряя строгие новые настройки по умолчанию, гигант граничных вычислений стремится защитить интеллектуальную собственность и создать устойчивую экономическую экосистему для веб-издателей.

Конец «смешанных» краулеров

Сделав шаг, который напрямую бросает вызов текущему положению дел в области сбора данных (data-scraping), Cloudflare установила крайний срок — 15 сентября 2026 года — для решения проблемы роста числа «смешанных» краулеров. Это боты, которые совмещают традиционную поисковую индексацию с обучением моделей ИИ и агентскими функциями. Начиная с этой даты, настройки Cloudflare по умолчанию будут автоматически блокировать доступ этим гибридным краулерам к любым страницам, на которых размещена реклама.

Это изменение политики касается всех новых клиентов Cloudflare, новых сайтов, созданных существующими клиентами, и всех текущих пользователей бесплатного уровня. Цель состоит в том, чтобы заставить ИИ-компании четко обозначать свои намерения: если бот хочет проиндексировать сайт для поиска, он идет одним путем; если же он хочет поглощать данные для обучения большой языковой модели (LLM), он должен следовать другим путем — тем, который потенциально требует компенсации.

Вызов доминированию поискового гиганта

Одним из основных факторов этого решения является воспринимаемое несправедливое преимущество крупнейших поисковых систем. Cloudflare особо подчеркнула, что крупнейшая в мире поисковая система — как принято считать, Google — в настоящее время имеет доступ примерно в «2 раза больше информации», чем ее конкуренты в сфере ИИ.

Хотя Google предлагает инструмент «Google Extended», позволяющий издателям отказаться от использования данных для обучения ИИ без ущерба для видимости в поиске, его флагманский Googlebot продолжает активно сканировать страницы для обеспечения работы таких функций, как AI Overviews. Вмешательство Cloudflare направлено на выравнивание условий игры, гарантируя, что ИИ-компании не смогут пользоваться огромными возможностями индексации поисковых систем для бесплатного обучения своих моделей.

Переход к моделям «оплата за использование» (Pay Per Use)

Помимо простого блокирования, Cloudflare активно строит инфраструктуру для новой экономики контента. Компания развивает свой маркетплейс «Pay Per Crawl» (оплата за сканирование), превращая его в более сложную модель «Pay Per Use» (оплата за использование). В рамках этой структуры издатели смогут взимать плату с ИИ-компаний не только за сам факт получения данных, но и за то время, когда этот контент фактически приносит пользу.

Для пилотного запуска Cloudflare сотрудничает с Ceramic.ai и You.com. Благодаря этим партнерствам издатели могут получать прямую компенсацию, когда их контент появляется в результатах ИИ-поиска Ceramic или когда You.com получает доступ к премиальным материалам. Этот сдвиг решает критическую проблему неэффективности современного веба: данные Cloudflare показывают, что более 50% трафика ИИ-краулеров тратится впустую на повторное сканирование неизмененных страниц — процесс, который истощает как пропускную способность издателей, так и вычислительные ресурсы ИИ.

Почему это важно для сферы ИИ

Поскольку нечеловеческий трафик в интернете уже превысил трафик пользователей, эра «бесплатного сбора всего подряд» заходит в тупик. Шаг Cloudflare сигнализирует о переходе к более регулируемому и транзакционному вебу. Для разработчиков ИИ это означает конец эпохи беспрепятственного и бесплатного получения данных, что потребует более прозрачных и кооперативных отношений с создателями контента для обеспечения долгосрочной доступности данных.

Основные выводы

  • Блокировка по умолчанию: С 15 сентября 2026 года Cloudflare по умолчанию будет блокировать «смешанные» краулеры на страницах с рекламой.
  • Смена модели монетизации: Cloudflare переходит от модели «Pay Per Crawl» к модели «Pay Per Use», позволяя издателям взимать плату с ИИ-компаний в зависимости от ценности контента.
  • Повышение эффективности: Новая политика направлена на сокращение 50% трафика ИИ-сканирования, который в настоящее время тратится впустую на повторное получение неизмененных веб-страниц.