CloudflareのAIクローラー・ライセンスモデルが7月1日に開始されました。従来の「クロールごとの支払い（pay-per-crawl）」方式から、AIサービスがページを読み込むたびに課金される「利用ごとの支払い（pay-per-use）」システムへと切り替わりました。この変更は単なる価格改定にとどまりません。一民間企業が、誰がどのような条件でパブリック・ウェブにアクセスできるかを決定する権限を持つことを意味しています。

なぜこの転換が重要なのか

長年、Cloudflareの無料プランは、数百万のサイトにパフォーマンスを向上させ、不要なトラフィックを防ぐための安価な手段を提供してきました。ボットがページを取得する際、運営者はクロールごとに一定の料金を支払っていました。新しいモデルはこの関係を逆転させます。AIモデルがコンテンツを消費するたびに、パブリッシャー（コンテンツ提供者）に支払いが行われるのです。一見すると、これはサイト所有者にとっての勝利のように聞こえます。彼らの成果の上に築かれてきたAI市場の利益を、ようやく分け合えるようになるからです。

また、このモデルではAIクローラーに「Search（検索）」、「Agent（エージェント）」、「Training（学習）」という3つの新しいカテゴリーを導入し、ボットをどのカテゴリーに分類するかという権限を、Cloudflareの製品仕様に完全に委ねています。あるリサーチボットが正当な「Agent」なのか「Training」ボットなのか、あるいは小規模チームのツールが「Search」サービスなのか「無許可の窃盗者」なのかを決定するのは同社です。これらの分類によって適用される料金が決まり、9月15日からは、広告が表示されているページにおいて、そのボットを完全にブロックするかどうかも決まります。

管理のメカニズム

  • 3つのカテゴリー、1人のゲートキーパー – Cloudflareが単独でこれら3つのグループを定義します。外部の標準化団体も、業界コンソーシアムも、公的な協議もありません。「Training」に分類されたボットは、たとえ実際の活動内容がほぼ同じであっても、「Search」とラベル付けされたボットよりも高い料金を課されます。
  • 広告掲載ページでのデフォルト・ブロック – 9月中旬以降、広告のあるページにアクセスする混合利用のクローラーは、Cloudflareの基準を満たさない限り、アクセスが拒否されます。このブロックは自動的に行われ、回避する方法は、Cloudflareがそのカテゴリーに対して設定した料金を支払うことだけです。
  • 待機リストのあるマーケットプレイス – 「ライセンス化された」ウェブへのアクセスは、もはや技術的な能力だけで決まるものではありません。大規模なクロールを希望する企業は、Cloudflareの承認リストに載るための申請を行う必要があります。リストから漏れた企業には、Cloudflareが提示する価格を受け入れるか、インターネットの大部分をスクレイピングする能力を失うかという、厳しい二択が突きつけられます。
  • 投票権のない収益 – 支払いを受け取るサイト所有者は、カテゴリーの策定方法、料金の推移、あるいは誰がホワイトリストに載るかについて、発言権を持ちません。価格構造や「許容される」クロールの定義そのものが、公的な政策プロセスではなく、企業の製品仕様の背後に置かれているのです。

勝者と敗者

パブリッシャー – 直接的なメリットは、新たな収益源です。AIモデルが記事を読むたびに、サイト所有者に報酬が支払われます。トラフィックの収益化に苦労してきた小規模なパブリッシャーにとって、このキャッシュフローは大きな意味を持つ可能性があります。

AI開発者および研究者 – Cloudflareの料金を支払う余裕があり、ホワイトリストへの登録を確保できる層は、引き続き大規模なモデルの学習と運用を行うことができます。

スタートアップ、オープンソースプロジェクト、および独立系研究者 – ホワイトリストに載ることができなければ、Cloudflareが設定する料金を支払うか、ウェブの大部分へのアクセスを失うかのどちらかを選択しなければなりません。

インターネットのエコシステム全体 – パブリック・ウェブへのアクセスをライセンス可能なサービスに変えることで、Cloudflareは、従来は緩やかに規制されたマルチアクター（多角的な主体）の環境に属していた「デジタル・ゲートキーピング（情報の門番）」の一形態を集中させています。

希少性がもたらす隠れたコスト

ボットのブロックは、長らくスパムやスクレイピング、帯域幅の乱用に対する防御策として位置づけられてきました。しかし、Cloudflareの新しいモデルにおいて、ブロックは「レバレッジ（交渉力）」の誇示です。真の製品は、すべてのページビューを測定し、価格を付与するメーターなのです。同社は、アクセスの販売を行うマーケットプレイス自体を運営しているため、全員に対して一斉に「希少性」を作り出すスイッチを切り替えることができます。

今日のウェブトラフィックの大部分を引き寄せた無料プランは、決して慈善事業ではありませんでした。それはCloudflareに市場の支配権を与え、後にその支配力をライセンスモデルを通じて収益化するための戦略的なエントリーポイントだったのです。かつてページの読み込みを高速化し、民主化したのと同じインフラが、今や誰がそれらのページを読めるかを決定しているのです。

反論：AIを動かすコンテンツへの支払い

新しいシステムを支持する論拠は単純です。AI開発者は、クリエイターに報酬を支払うことなく、公開されているテキスト、画像、コードから利益を得てきました。Cloudflareのモデルは、より高品質なコンテンツ制作を促し、パブリッシャーがAI経済における利権を持てるような支払いループを強制します。また、良性な検索ボットと大規模なデータ収集操作を区別するための、明確で強制力のある方法を提供し、悪用を抑制できる可能性があります。

しかし、これらのメリットは、ルールが一方的に設定されているという事実を消し去るものではありません。たとえ収益分配が寛大であったとしても、民主的なプロセスが欠如しているということは、もしカテゴリーが恣意的であったり、料金が搾取的なものになったりした場合、一般市民には救済手段がないことを意味します。このモデルは、ある一連の不透明な決定（広告ブロックのヒューリスティック）を、より経済的な影響の大きい、別の不透明な決定へと置き換えるものです。

次に注目すべき点

要点

Cloudflareによる7月1日の価格改定は、ウェブページを読むという行為をライセンス可能な取引へと変貌させます。そこでは、単一の民間企業がルールを書き、料金を徴収することになります。パブリッシャーはAIによる消費からようやく収益を得られるようになりますが、より広範な影響としては、誰がどのような条件でパブリックなインターネットにアクセスできるかを再定義する、新しい形態のデジタル・ゲートキーピングが生まれることになります。真の論点は価格設定ではありません。長らくオープンであると想定されてきた領域において、制御が集中していくことなのです。