PrismML의 새로운 Bonsai 27B 1-bit 모델은 3.9GB 파일 크기로 구현되어 iPhone 17 Pro Max에서 초당 약 11개의 토큰을 생성합니다. 이는 270억 개의 파라미터를 가진 언어 모델이 일반 소비자용 스마트폰에서도 구동될 수 있음을 증명합니다. 이 주장이 중요한 이유는 데이터를 클라우드로 전송하지 않고도 더 풍부한 오프라인 어시스턴트를 제공함으로써 온디바이스(on-device) AI의 한계를 넓히기 때문입니다.

용량 축소가 중요한 이유

전체 정밀도(full-precision)의 Bonsai 27B는 54.7GB에 달합니다. PrismML은 모델을 1비트 표현 방식으로 양자화(quantising)하여 크기를 3.9GB로 줄였으며, 이는 14배의 용량 절감을 의미합니다. 이러한 압축 덕분에 모델을 고사양 iPhone에 저장하는 것이 기술적으로 가능해졌습니다. 이전에는 수백 메가바이트를 넘어서는 모델은 탑재가 불가능했습니다.

Apple 하드웨어에서의 성능

PrismML은 개발자가 뉴럴 엔진(neural engine)에서 신경망을 직접 실행할 수 있도록 하는 API 세트인 Apple의 MLX 스택을 위해 이 모델을 구축했습니다. 자체 테스트 결과, iPhone 17 Pro Max에서 모델은 초당 약 11개의 토큰을 생성했습니다. 15개의 표준 언어 모델 벤치마크에서 1비트 버전은 원본 모델 품질 점수의 89.5%를 유지했으며, 이는 압축이 모델의 유용성을 크게 해치지 않았음을 시사합니다.

직면하게 될 실질적인 한계

  • 메모리 압박 – 3.9GB 파일 자체는 수용 가능하지만, 모델은 최근 문맥을 저장하기 위한 키-값(KV) 캐시가 필요합니다. 이 캐시는 대화가 길어질수록 커지며, 스마트폰의 RAM 사용량을 높여 잠재적으로 속도를 저하시킬 수 있습니다.
  • 발열 및 배터리 – 270억 개의 파라미터를 가진 네트워크를 실행하는 것은 뉴럴 엔진에 큰 부담을 줍니다. 스마트폰은 지속적인 부하가 걸리면 열이 발생하는 경향이 있으며, Apple의 서멀 매니지먼트(thermal management)는 하드웨어를 보호하기 위해 성능을 제한(throttle)할 것입니다. PrismML은 구체적인 배터리 소모 수치를 공개하지 않았으므로, 일상적인 사용 패턴에서의 실제 비용은 아직 알 수 없습니다.
  • 기기별 차이 – 성능 수치는 최신 iPhone 17 Pro Max를 기준으로 합니다. 구형 iPhone, 저사양 iOS 기기 또는 Android 폰은 동일한 뉴럴 엔진 성능을 갖추지 못해 추론(inference) 속도가 느려지거나 모델이 아예 탑재되지 않을 수도 있습니다.

수혜자와 소외될 대상

개인정보 보호를 우선시하는 앱 개발자들은 이제 대규모 언어 모델을 온디바이스로 구동하여 사용자 데이터를 폰에 그대로 유지할 수 있습니다. 이는 클라우드 구독 없이도 더 반응성이 좋은 음성 비서, 오프라인 번역 또는 문맥 기반 텍스트 생성을 가능하게 함을 의미합니다.

반면 Android 제조사와 중저가형 스마트폰 사용자들은 혜택을 누리기 어렵습니다. 이 모델은 Apple의 독자적인 스택에 의존하므로, 동일한 압축 기술이 다른 생태계에서 자동으로 작동하지는 않습니다.

향후 검증이 필요한 사항

PrismML의 수치는 내부 벤치마크 결과입니다. 독립적인 테스터들이 장시간 세션 동안의 초당 토큰 생성률을 검증하고, 실제 배터리 소모량을 측정하며, KV 캐시가 확장됨에 따라 성능이 얼마나 빨리 저하되는지 평가해야 합니다. 한 시간 동안 채팅하기, 콘텐츠 스트리밍, 또는 다른 앱과 함께 모델 실행하기 등 실제 사용 환경을 통해 통제된 실험실 밖에서도 초당 11개 토큰이라는 수치가 유지되는지 확인할 수 있을 것입니다.

요약

Bonsai 27B는 270억 개의 파라미터를 가진 언어 모델이 플래그십 iPhone에서 구동될 수 있을 만큼 압축 가능하며, 적절한 속도로 원본에 가까운 품질을 제공할 수 있음을 보여줍니다. 이 돌파구는 Apple의 MLX 스택에 달려 있으며, 메모리 오버헤드, 서멀 스로틀링, 불확실한 배터리 영향과 같은 실질적인 과제에 직면해 있습니다. 후속 테스트를 통해 이 주장이 확인된다면, iOS 플래그십과 나머지 시장 간의 하드웨어 격차가 줄어든다는 전제하에 온디바이스 AI는 니치(niche)한 데모 수준을 넘어 일상적인 앱으로 자리 잡을 수 있을 것입니다.