製品マニュアルが届くよりも早く、批判の嵐が押し寄せることがある。Metaは、Muse Image AIモデル内に新しい機能を密かに導入したものの、激しい批判を受けて数日後に方針を転換するという形で、その教訓を身をもって学ぶこととなった。そのツールは、プロンプト内で公開アカウントをタグ付けするだけで、あらゆるInstagramユーザーがAI画像を生成できるというものだった。@メンションを入力することで、ユーザーは対象アカウントの容姿、美学、あるいは投稿されたコンテンツから新しいビジュアルを合成するようシステムに指示できたのである。Metaは現在、この機能を完全に無効化している。この一件は、同社がプラットフォーム全体で生成AIを統合しようとする最近の動きにおいて、最も唐突な撤退の一つとして記憶されるだろう。

怒りを買った機能

その仕組みは単純だったが、それこそが問題だった。ユーザーはMeta AIを開き、欲しい画像を説明して、公開されているInstagramのハンドル名を指定するだけだ。するとモデルはそのアカウントの公開されている写真を分析し、対象の顔、体、服装のスタイル、あるいは芸術的なアプローチを反映した派生画像を生成する。俳優、写真家、モデル、そしてプロフィールを公開している一般ユーザーにとって、これは、直接の要求や警告なしに自分たちのデジタル・アイデンティティがリミックスされる可能性があることを意味していた。

Metaはこの機能を「クリエイティブの加速器」として売り込んだ。同社はおそらく、ファンが好きなクリエイターの様式化されたポートレートを生成したり、視覚的なテーマをアレンジしたりすることを想定していたのだろう。しかし、意図と実装の間には巨大な溝があった。このツールはアカウント所有者の明示的な同意を必要としなかったため、あらゆる公開プロフィールが、キーボードを持つ誰にとっても潜在的な「素材」となってしまった。非公開アカウントは影響を受けなかったが、職業的または社会的な理由でプロフィールを公開している数百万人のユーザーにとって、プラットフォームは実質的に、彼らの容姿がアルゴリズムによる再利用に対して開放されていると宣言したに等しかった。これは伝統的な意味での大量データスクレイピングではない。実在の人物を対象とした、オンデマンドの合成であった。

批判者たちは、これがデジタルな同意の基本ロジックを逆転させていると即座に指摘した。広範な利用規約の下であっても、個人の画像による第三者の利用を許可しているほとんどのプラットフォームは、ランダムなユーザーに対して、誰かの外見を意のままにクローン化する制御権を渡したりはしない。この違いは重要だ。トレーニング用データセットのために公開写真をパッシブにスクレイピングすることは一つの倫理的論争だが、特定の個人に結びついた、ユーザー主導のアクティブなディープフェイク生成は全く別の問題である。公開アカウントをAI合成の格好の標的にすることで、Metaは「公開されていること」と「アイデンティティの権利を公に放棄すること」の境界線を曖昧にした。

プライバシーのリスクと「オプトアウト」の問題

批判は多方面から、かつ鋭いものとして寄せられた。プライバシー擁護派、クリエイティブ組合、安全保障団体などが一斉に、Metaがシステムを「逆さま」に構築したと指摘した。

全米性的搾取センター（National Center on Sexual Exploitation）のエグゼクティブ・ディレクター、ヘイリー・マクマナラ氏は、この機能がセクストーション（性的脅迫）やその他の詐欺の明らかな道具になり得ると警告した。彼女の懸念は仮定の話ではない。生成ツールが向上するにつれ、画像ベースの虐待は急増している。あらゆるユーザーが他人の容姿を瞬時に近似させ、それを任意のシナリオに配置できるシステムは、以前なら少なくとも一定の技術的スキルを必要としたプロセスから、障壁を取り除いてしまう。Metaの機能は、本質的に画像ベースの搾取の第一段階を「産業化」してしまったのである。

事態をさらに複雑にしたのは