Cloudflare、AI企業にパブリッシャーへの支払いを強制するための期限を設定

Cloudflareは、従来の検索クローリングとAIトレーニングおよびエージェント型サービスを切り離すことを目的とした、画期的なポリシー変更を発表した。厳格な新しいデフォルト設定を導入することで、このエッジコンピューティングの巨人は、知的財産を保護し、ウェブパブリッシャーのための持続可能な経済エコシステムを構築することを目指している。

「混合用途」クローラーの終焉

現在のデータスクレイピングの現状に直接異を唱える動きとして、Cloudflareは「混合用途（mixed-use）」クローラーの増加に対処するため、2026年9月15日を期限として設定した。これらは、従来の検索インデックス作成とAIモデルのトレーニングおよびエージェント機能を組み合わせたボットである。その日付以降、Cloudflareのデフォルト設定では、広告を掲載しているページへのこれらのハイブリッドクローラーによるアクセスを自動的にブロックする。

このポリシー変更は、すべての新規Cloudflare顧客、既存顧客によって作成された新しいサイト、およびすべての現在のフリーティア（無料版）ユーザーに適用される。その目的は、AI企業にその意図を区別させることである。ボットが検索のためにサイトをインデックスしたい場合は一つの経路を辿り、大規模言語モデル（LLM）のトレーニングのためにデータを摂取したい場合は別の経路、つまり対価が必要となる可能性のある経路を辿らなければならない。

検索大手の支配への挑戦

この決定の大きな要因となっているのは、主要な検索エンジンが保持している不公平な優位性である。Cloudflareは、世界最大の検索エンジン（一般的にGoogleと認識されている）が、現在、AI競合他社よりも約「2倍多い情報」にアクセスできることを具体的に指摘した。

Googleは、検索の可視性に影響を与えることなくパブリッシャーがAIトレーニングをオプトアウトできる「Google Extended」を提供しているが、その主力であるGooglebotは、AI Overviewsのような機能を支えるために広範囲なクローリングを続けている。Cloudflareの介入は、AI企業が検索エンジンの膨大なインデックス作成能力に便乗してモデルを無料でトレーニングできないようにすることで、公平な競争環境を整えることを目的としている。

「Pay Per Use」モデルへの移行

単なるブロックにとどまらず、Cloudflareは新しいコンテンツ経済のためのインフラを積極的に構築している。同社は「Pay Per Crawl（クローリングごとの支払い）」マーケットプレイスを、より洗練された「Pay Per Use（利用ごとの支払い）」モデルへと進化させている。この枠組みの下では、パブリッシャーはAI企業に対し、単なるデータの取得だけでなく、そのコンテンツが実際に価値を生み出した際にも料金を請求できるようになる。

これを試験的に導入するため、CloudflareはCeramic.aiおよびYou.comと提携している。これらのパートナーシップを通じて、パブリッシャーは、自身のコンテンツがCeramicのAI検索結果に表示された際や、You.comがプレミアム素材にアクセスした際に、直接的な報酬を受け取ることができる。この転換は、現在のウェブにおける重大な非効率性に対処するものである。Cloudflareのデータによると、AIクローラーのトラフィックの50%以上が、変更されていないページの再取得に浪費されており、このプロセスがパブリッシャーの帯域幅とAIの計算リソースの両方を消耗させている。

なぜこれがAI業界にとって重要なのか

インターネット上の非人間的なトラフィックが人間によるトラフィックを上回る中、「すべてを無料でスクレイピングする」時代は限界に達している。Cloudflareの動きは、より規制され、取引に基づいたウェブへの移行を告げるものである。AI開発者にとって、これは摩擦のないゼロコストのデータ取得の時代が終わり、長期的なデータの持続可能性を確保するために、コンテンツクリエイターとのより透明性が高く協力的な関係が必要になることを意味する。

主なポイント

  • デフォルトのブロック: 2026年9月15日より、Cloudflareは広告付きページへの「混合用途」クローラーのアクセスをデフォルトでブロックする。
  • 収益化の転換: Cloudflareは「Pay Per Crawl」から「Pay Per Use」モデルへと移行しており、パブリッシャーがコンテンツの価値に基づいてAI企業に料金を請求できるようになる。
  • 効率性の向上: 新しいポリシーは、現在変更されていないウェブページの再取得に浪費されているAIクローリングトラフィックの50%を削減することを目指している。