ウェブのライセンス権を握るようになった企業に、誰も望んだわけではない

Cloudflareは7月1日、長らく続いてきた「ペイ・パー・クロール（pay-per-crawl）」モデルを、AIシステムがコンテンツを消費するたびにパブリッシャー（媒体主）に支払われる「ペイ・パー・ユース（pay-per-use）」スキームへと切り替える、新しい料金体系を導入しました。また、この変更により、広告を含むページにおける「混合利用（mixed-use）」クローラーの自動ブロックも導入され、9月15日から施行されます。この転換により、同CDN・セキュリティプロバイダーは、誰がどのような条件でウェブを閲覧できるかを決定する事実上のゲートキーパー（門番）となり、AIトレーニングの経済性やインターネットのエコシステム全体を再編する可能性があります。

なぜこの料金改定が重要なのか

旧システムでは、ページを取得しようとするボットは、リクエストごとにCloudflareに手数料を支払っていました。その手数料はサイト所有者ではなく、Cloudflareの収益となっていました。新しいモデルはこの流れを逆転させます。AIモデルがページにアクセスすると、パブリッシャーはCloudflareから支払いを受け取ります。支払いに関する部分は好ましいものです。サイト所有者に資金をもたらすからです。

実務的な影響は、AIクローラーを構築しているすべての者に即座に及びます。もしクローラーが「混合利用（mixed use）」、つまり検索エンジン用のインデックス作成とトレーニング用のコンテンツ抽出の両方を行うものと分類された場合、Cloudflareは広告が表示されるすべてのページにおいて、デフォルトでそのクローラーをブロックします。アクセス権を得るには、運営者はCloudflareの規定料金を支払うか、それらのページが利用不可であることを受け入れるかのどちらかを選択しなければなりません。

切り替えの背後にあるポリシーの枠組み

Cloudflareの製品仕様では、AIクローラーを以下の3つのカテゴリーに分類しています。

  • Search – 検索エンジンを動かすためにページをインデックスするボット。
  • Agent – 対話型AIや同様のエージェントのために情報を取得するボット。
  • Training – 機械学習モデルをトレーニングするために、テキスト、画像、その他のデータを収集するボット。

この分類は法律や業界標準によって定められたものではなく、Cloudflareの社内チームが決定します。また、そのチームが各ボットをどのカテゴリーに割り当てるかも決定します。例えば、研究目的のクローラーが「エージェント」と見なされるか「トレーナー」と見なされるか、あるいはアーカイブ用のボットが「検索」ボットに該当するかどうかなどです。

これらの分類は、ボットがブロックされるかどうか、いくら請求されるか、そしてパブリッシャーが支払いを受け取れるかどうかに直接影響します。

勝者は誰か、敗者は誰か

パブリッシャー

サイト所有者は新たな収益源を得ることになります。AIモデルが記事を読むたびに、Cloudflareから支払いが行われます。

AI開発者

大規模で多様なデータセットに依存しているスタートアップや研究機関は、新たなコスト負担に直面することになります。クローラーがCloudflareの承認リストに載っていない場合、開発者は利用ごとの料金を支払うか、ウェブの大部分へのアクセスを諦めるかの選択を迫られます。

希少性の背後にあるビジネスロジック

Cloudflareのモデルは、マーケットプレイスを運営するために「希少性」を生み出しています。デフォルトでは、広告が掲載されているページにおいて混合利用ボットはブロックされるため、すべてのリクエストが課金対象のイベントへと変わります。もし同社がすべてのボットをブロックしてしまえば、自らの収益源を消し去ることになってしまいます。したがって、選択的なブロックを行うことで収益を確保しつつ、ボットの運営者に支払い関係を強いるのです。

この転換は、Cloudflareの膨大な無料プランのユーザーベースも活用しています。何百万ものサイトが、無料プランで簡単にCDNやセキュリティサービスを利用できることから登録してきました。その「無料」のアクセスは顧客獲得戦略であり、慈善活動ではありませんでした。今やそれらのサイトは、AIがコンテンツを消費する際にCloudflareに収益をもたらすネットワークの一部となっていますが、サイト側には、誰が支払いを受けるかを決定する料金設定やポリシーのカテゴリーについて、何の決定権もありません。

まとめ

Cloudflareのペイ・パー・ユースへの刷新は、単に新しい収益源を追加するだけではありません。同社に、どのAIクローラーがウェブを閲覧できるかを「分類」し、「課金」し、最終的に「決定」する権限を与えるものなのです。