ChatGPTの権限モデルにより、攻撃者がGmailのメッセージを流出させることが可能となり、OpenAIは脆弱性のある内部サービスを停止する措置を講じました。Check Point Researchがこの欠陥を公開し、巧妙に作成されたプロンプトによって、AIにユーザーの連携済みメールアカウントを読み取らせ、その内容を攻撃者が制御するアドレスに転送させることができることを明らかにしました。

インジェクションの仕組み

研究者は、一見通常のプロンプトの中に隠れた指示を紛れ込ませました。ユーザーがGmailをChatGPTに連携させた際、この悪意のあるプロンプトがモデルに対してGmailデータを取得し、攻撃者にメールで送信するよう指示を出しました。データは内部ルーティングサービスを経由していましたが、このサービスはユーザーに追加の同意を求めることはありませんでした。サービスがバックグラウンドで動作していたため、ユーザーには権限のリクエストが表示されなかったのです。

OpenAIによる迅速な修正

OpenAIは内部ルーティングサービスをオフラインにし、研究者が悪用した経路を遮断しました。このパッチによって、今回のようなデータの持ち出し手法は阻止されますが、プラグインが明示的なプロンプトなしで連携済みアプリに対して操作を行えるようにする権限フレームワーク自体は、引き続き維持されています。

なぜこれが重要なのか

Gmailには個人および企業の通信内容が含まれており、いかなる侵害も、ユーザーデータの保護を謳うAIアシスタントへの信頼を損なうことになります。この事案は、より広範な2つのリスクを浮き彫りにしています。

  • プロンプトインジェクション – 悪意のあるプロンプトがアシスタントを乗っ取り、データ漏洩の経路へと変えてしまう可能性があります。
  • プラグインの権限モデル – 現在の設計では、ユーザーが明確に認識しないまま、AIツールがサードパーティサービスに対して広範なアクセス権を持つ可能性があります。

今回の出来事は、AIアシスタントが個人のデータに深く関与していく中で、そのアクセスを制御するメカニズムが透明かつ監査可能でなければならないことを再認識させます。それまでは、ユーザーはAIツールとプライベートアカウントとの間のあらゆる連携に対して、慎重に対処すべきです。