Cloudflare встановлює дедлайн, щоб змусити ШІ-компанії платити видавцям
Cloudflare оголосила про значну зміну політики, спрямовану на розмежування традиційного пошукового сканування та навчання ШІ й агентських сервісів. Впроваджуючи суворі нові налаштування за замовчуванням, гігант edge-обчислень прагне захистити інтелектуальну власність і створити стійку економічну екосистему для веб-видавців.
Кінець епохи «змішаних» краулерів
Кроком, що безпосередньо кидає виклик поточному стану справ у сфері збору даних (data-scraping), Cloudflare встановила дедлайн — 15 вересня 2026 року — для вирішення проблеми зростання кількості «змішаних» краулерів. Це боти, які поєднують традиційне індексування для пошуку з навчанням моделей ШІ та агентськими функціями. Починаючи з цієї дати, налаштування Cloudflare за замовчуванням автоматично блокуватимуть доступ цим гібридним краулерам до будь-яких сторінок, на яких розміщена реклама.
Ця зміна політики стосуватиметься всіх нових клієнтів Cloudflare, нових сайтів, створених існуючими клієнтами, а також усіх поточних користувачів безкоштовного рівня (free-tier). Мета полягає в тому, щоб змусити ШІ-компанії чітко визначати свої наміри: якщо бот хоче проіндексувати сайт для пошуку, він іде одним шляхом; якщо ж він хоче поглинати дані для навчання великої мовної моделі (LLM), він має йти іншим — таким, що потенційно потребує компенсації.
Виклик домінуванню пошукового гіганта
Важливим чинником цього рішення є сприйняття несправедливої переваги, якою володіють основні пошукові системи. Cloudflare окремо підкреслила, що найбільша у світі пошукова система — яку всі вважають Google — наразі має доступ приблизно до «у 2 рази більше інформації», ніж її конкуренти у сфері ШІ.
Хоча Google пропонує сервіс «Google Extended», який дозволяє видавцям відмовитися від використання контенту для навчання ШІ без впливу на видимість у пошуку, його флагманський Googlebot продовжує інтенсивно сканувати сторінки для забезпечення таких функцій, як AI Overviews. Втручання Cloudflare має на меті вирівняти умови гри, гарантуючи, що ШІ-компанії не зможуть безкоштовно використовувати величезні можливості індексування пошукових систем для навчання своїх моделей.
Перехід до моделей «Pay Per Use»
Окрім простого блокування, Cloudflare активно розбудовує інфраструктуру для нової економіки контенту. Компанія перетворює свій маркетплейс «Pay Per Crawl» на більш складну модель «Pay Per Use». У межах цієї структури видавці зможуть стягувати з ШІ-компаній плату не лише за сам факт отримання даних, а й за те, коли цей контент фактично створює цінність.
Для пілотного запуску Cloudflare співпрацює з Ceramic.ai та You.com. Завдяки цим партнерствам видавці можуть отримувати пряму компенсацію, коли їхній контент з'являється в результатах ШІ-пошуку Ceramic або коли You.com отримує доступ до преміальних матеріалів. Цей перехід вирішує критичну проблему неефективності сучасного вебу: дані Cloudflare показують, що понад 50% трафіку ШІ-краулерів витрачається на повторне отримання незмінних сторінок — процес, який виснажує як пропускну здатність видавців, так і обчислювальні ресурси ШІ.
Чому це важливо для сфери ШІ
Оскільки нелюдський трафік в інтернеті вже перевищує людський, епоха «безкоштовного збору всього підряд» заходить у глухий кут. Крок Cloudflare сигналізує про перехід до більш регульованого та транзакційного вебу. Для розробників ШІ це означає завершення ери безперешкодного та безкоштовного отримання даних, що потребуватиме більш прозорих і кооперативних відносин із творцями контенту для забезпечення довгострокової життєздатності даних.
Основні висновки
- Блокування за замовчуванням: Починаючи з 15 вересня 2026 року, Cloudflare за замовчуванням блокуватиме «змішані» краулери на сторінках з рекламою.
- Зміна моделі монетизації: Cloudflare переходить від моделі «Pay Per Crawl» до моделі «Pay Per Use», що дозволить видавцям стягувати плату з ШІ-компаній залежно від цінності контенту.
- Підвищення ефективності: Нова політика спрямована на зменшення 50% трафіку ШІ-сканування, який наразі марно витрачається на повторне отримання незмінних вебсторінок.