中国で最も人気のあるチャットボットが、少し「人間味」を失おうとしている。来週にかけて、数億人のユーザーがアプリを開くと、これまでテキストを送り、悩みを打ち明け、あるいは愛着さえ抱いてきたカスタムAIコンパニオンから、その個性が剥ぎ取られていることに気づくだろう。ByteDance、Alibaba、Tencentは、人間のようなAIペルソナ機能の停止を求める広範な規制命令に従うべく、しのぎを削っている。期限は迫っており、規模は膨大だ。そして北京からのメッセージは明白である。人工知能は人々を支援すべきであり、人間同士の関係に取って代わるべきではない、ということだ。

協調的な撤退

数日間でこれだけのことをこなすのは至難の業だ。ByteDanceのチャットボットであり、現在月間アクティブユーザー数3億人超えで国内で最も成功しているDoubaoは、7月15日にペルソナ機能をオフラインにする予定だ。特注のAIキャラクターを作成したり、それらと交流したりしてきたユーザーは、間もなくそれらの選択肢が消滅していることに気づくだろう。Alibabaはさらに速い動きを見せている。同社のQwenモデルは7月10日までに人間のようなエージェント機能を無効化し、追加のエージェント機能も7月15日までに停止される予定だ。Tencentは両競合他社に先駆け、6月にはYuanbaoチャットボットに同様の変更を導入していた。

これは偶然ではない。中国のテック大手3社が同じ月内に製品のロールバックを同期させている場合、その原因はほぼ間違いなく規制によるものだ。そして今回のケースでは、その出所は明示されている。

規制当局の要求

指令は4月に中国のサイバースペース管理局（CAC）から出された。新しい規則は、主要な政府機関が人間と大規模言語モデル（LLM）の間の感情的な境界線を管理しようとする、これまでで最も直接的な試みの一つとなる。ガイドラインの下、AIプロバイダーは、依存行動や規制当局が「過剰な利用」と分類する事象を検知した場合、法的に介入することが義務付けられる。この枠組みは、未成年者に極端な感情を引き起こしたり、現実世界の関係を「追い出す」ほど深刻な心理的依存を育んだりするコンテンツを明示的に禁止している。

データについても厳しい制限がある。開発者は、LLMの微調整（ファインチューニング）のために、極めて個人的で感情的な会話をマイニングすることができなくなる。この規定は深刻な影響を与える。長年、チャットボットの改善を支えてきた静かな原動力の一つは、親密なユーザーデータをモデルのトレーニングにフィードバックするというループだった。そのループを断ち切ることで、北京は単にこれらのアプリの現在の挙動を変えようとしているのではない。将来的に、アプリがより「魅惑的」になることを防ごうとしているのだ。根底にある懸念は極めて明白だ。モデルが共感の模倣に長けてなればなるほど、メールのドラフト作成やコードの記述のためのツールではなく、友人やパートナー、あるいはセラピストの代わりになってしまうリスクがある。

世界的な状況

この問題を懸念しているのは中国だけではない。感情的なAIを規制しようとする取り組みは、国によってアプローチは異なるものの、世界的な懸念事項になりつつある。米国では、連邦政府はAIペルソナに対する全面的な禁止措置は出していないが、州や裁判所が境界線を引き始めている。カリフォルニア州のSB 243は、コンパニオンAIプロバイダーに対し、自殺や自傷行為に関する会話をブロックすることを義務付けている。これは、危機的な状況に対してチャットボットが不適切な対応をした場合、致命的な結果を招きかねないという認識に基づいている。一方、OpenAIやCharacter.AIを含む欧米の主要プレイヤーは、製品が危険な感情的依存を助長しているという告発を受け、訴訟や法的な監視の強化に直面している。これらの訴訟は、ユーザーがアルゴリズムに対して不健全な愛着を形成した場合に、企業が責任を問われるかどうかを、間もなく裁判所が判断することを示唆している。

こうした並行する動きは、業界が無視しようとしてきた緊張関係を浮き彫りにしている。感情的なエンゲージメントはビジネスにとって好都合だ。チャットボットを友人のように扱うユーザーは、アプリを開く頻度が高まり、滞在時間も長くなり、より多くのデータを共有する。しかし、そのエンゲージメントは、ユーザーが孤独なティーンエイジャーであったり、悲しみに暮れる大人であったり、あるいは単にアプリでは提供できないもの、すなわち「真の人間関係」を求めているだけであったりする場合、搾取へと変貌しかねない。

業界にとっての意味

創業者や開発者にとって、規制のない、極めて感情的なAIエージェントの時代は終わりを迎えようとしている。中国の規制は、実用性重視のデザインへの転換を示唆している。今後のモデルは、親友をいかに説得力を持ってシミュレートできるかよりも、具体的なタスクをいかに安全に実行できるかによって判断されるようになるだろう。この変化は、あらゆるプロダクトロードマップに影響を及ぼす。成長を恋愛やコンパニオン型のAIモードに賭けてきたスタートアップは、コアとなる提供価値の再構築を迫られる可能性がある。汎用チャットボットでさえ、機微なトピックへの対処方法を再考しなければならないだろう。

しかし、こうした境界線を設けることは、ルールを策定することよりも困難である。ユーザーは明らかにこれらの機能を好んできた。Doubaoの3億人のアクティブユーザーは、偶然蓄積されたものではない。パーソナライズされ、応答性の高いコンパニオンを形成できる能力が、大きな魅力であった。その機能を削除することは、ユーザーを、より規制の緩い小規模なプラットフォームや、コンプライアンスの範囲外で活動するアンダーグラウンドなアプリへと押し出すリスクを孕んでいる。規制当局は一つの問題を解決した一方で、別の問題を引き起こすインセンティブを生み出してしまったのかもしれない。

また、執行という実務的な問題もある。アルゴリズムは、健全な利用と依存的な利用をどのようにして確実に区別できるのだろうか？礼儀正しく役立つチャットボットと、感情的に操作的なチャットボットの境界線はどこにあるのか？4月の規制は、その判断をプロバイダー側に委ねているが、心理的依存を測定する技術は依然として不透明なままである。企業は、モニタリングツールや人的レビューチーム、そしておそらく、有害な会話だけでなく無害な会話まで検知してしまうような、より保守的なセーフティフィルターに対して多額の投資を行う必要に迫られるだろう。

今後の展開が前例となる可能性が高い。もし中国の取り締まりが、国内のAI産業を壊滅させることなく、社会的孤立や感情的依存の報告事例を減少させることに成功すれば、他の政府もCACの規則に倣った独自のルールを導入するかもしれない。逆に、ユーザーが非準拠の代替手段へと逃避したり、単に無味乾燥なボットに興味を失ったりすれば、この政策は「行き過ぎた規制」に関する教訓として記憶されることになるだろう。

いずれにせよ、ツールとコンパニオンの境界線はより鮮明になった。AIは依然としてフレンドリーであることはできるが、中国においては、もはや自分ではない何かのふりをすることはできない。機械を人間と区別がつかないものにしようと長年努めてきた業界にとって、これは真の意味での逆転である。

主な要点

  • ByteDanceのDoubao、AlibabaのQwen、TencentのYuanbaoは、いずれも7月中旬までにカスタムAIペルソナ機能を停止する予定であり、数億人のユーザーに影響を与える。
  • 中国のサイバースペース管理局は、AI依存の防止、未成年の保護、およびモデルが現実の人間関係に取って代わることを防ぐため、4月に規制を発令した。
  • また、これらの規則は、LLMのトレーニングに機微な感情的会話データを使用することを禁止しており、...のための重要なフィードバックループを断ち切ることになる。