PrismMLの新しいBonsai 27B 1ビットモデルは、3.9GBのファイルに収まり、iPhone 17 Pro Max上で毎秒約11トークンの速度で動作します。これは、270億パラメータの言語モデルがコンシューマー向けスマートフォン上で動作可能であることを証明しています。この主張が重要なのは、データをクラウドに送信することなく、より高度なオフラインアシスタントを実現し、オンデバイスAIの境界を押し広げる可能性があるからです。

なぜ軽量化が重要なのか

フル精度のBonsai 27Bは54.7GBの容量があります。PrismMLはモデルを1ビット表現に量子化することで、サイズを3.9GBまで縮小しました。これは、サイズを14分の1に削減したことになります。この圧縮により、技術的にハイエンドのiPhoneに保存することが可能になりました。これまでは、数百メガバイトを超えるものは保存できないという閾値がありました。

Apple製ハードウェアでのパフォーマンス

PrismMLは、開発者がニューラルエンジン上でニューラルネットワークを直接実行できるようにするAPIセットである、AppleのMLXスタック向けにこのモデルを構築しました。独自のテストでは、iPhone 17 Pro Max上で毎秒約11トークンを生成しました。15の標準的な言語モデルベンチマークにおいて、1ビット版はオリジナルモデルの品質スコアの89.5%を維持しており、圧縮によって実用性が損なわれていないことを示唆しています。

直面するであろう実用的な限界

  • メモリへの負荷 – 3.9GBのファイル自体は収まりますが、モデルは最近のコンテキストを保存するためにキーバリュー（KV）キャッシュを必要とします。このキャッシュは会話の長さに応じて増大し、スマートフォンのRAM使用率を押し上げ、速度低下を招く可能性があります。
  • 発熱とバッテリー – 270億パラメータのネットワークを実行することは、ニューラルエンジンに大きな負荷をかけます。スマートフォンは持続的な負荷がかかると発熱しやすく、Appleのサーマルマネジメント（熱管理）はハードウェアを保護するためにパフォーマンスを制限（スロットリング）します。PrismMLは具体的なバッテリー消費量に関する数値を公開していないため、日常的な使用パターンにおける実際の影響は不明なままです。
  • デバイスによる差異 – このパフォーマンスに関する主張は、最新のiPhone 17 Pro Maxに適用されるものです。古いiPhone、下位モデルのiOSデバイス、またはAndroidスマートフォンには同等のニューラルエンジンの能力がなく、推論速度が低下するか、モデル自体が収まらない可能性があります。

恩恵を受ける層と、取り残される層

プライバシー重視のアプリの開発者は、大規模言語モデルをデバイス上でホストし、ユーザーデータをスマートフォン内に保持できるようになります。これにより、クラウドのサブスクリプションなしで、より応答性の高い音声アシスタント、オフライン翻訳、あるいは文脈に応じたテキスト生成が可能になるかもしれません。

一方で、Androidメーカーやミドルレンジのスマートフォンのユーザーは、この恩恵を受けられません。このモデルはApple独自のスタックに依存しているため、同じ圧縮技術が他のエコシステムで自動的に機能するわけではありません。

今後の検証課題

PrismMLの数値は内部ベンチマークによるものです。独立したテスターは、長時間のセッションにおける1秒あたりのトークン生成率を検証し、実際のバッテリー消費量を測定し、KVキャッシュの拡大に伴ってパフォーマンスがどの程度急速に低下するかを評価する必要があります。1時間のチャット、コンテンツのストリーミング、あるいは他のアプリと並行してモデルを実行するといった実使用環境において、毎秒11トークンという数値が管理されたラボの外でも維持されるかどうかが明らかになるでしょう。

まとめ

Bonsai 27Bは、270億パラメータの言語モデルがフラッグシップiPhone上で動作できるほど圧縮可能であり、控えめな速度ながらほぼフルに近い品質を提供できることを示しています。この画期的な進歩はAppleのMLXスタックに依存しており、メモリのオーバーヘッド、サーマルスロットリング、未知のバッテリーへの影響といった実用的な課題が依然として残っています。もし追試によってこれらの主張が裏付けられれば、iOSのフラッグシップモデルとその他の市場とのハードウェア格差が縮まることを条件に、オンデバイスAIはニッチなデモから日常的なアプリへと移行する可能性があります。