Apple voert naar verluidt voorlopige gesprekken met PrismML, een startup die wordt gesteund door Khosla Ventures, om geavanceerde modelcompressietechnologie te integreren in hun ecosysteem. Deze stap heeft als doel geavanceerde kunstmatige intelligentie rechtstreeks naar de iPhone te brengen, waardoor de kloof tussen de beperkingen van mobiele hardware en de enorme computationele vereisten van moderne Large Language Models (LLM's) wordt overbrugd.

Het oplossen van de beperkingen van on-device AI

Terwijl Apple iOS 18 en een herontworpen Siri uitrolt, staat het bedrijf voor een aanzienlijke technische hindernis: AI-modellen met een hoge prestatie vereisen doorgaans enorme hoeveelheden geheugen en rekenkracht die de capaciteiten van standaard smartphones overstijgen. Door de technologie van PrismML te integreren, streeft Apple ernaar om de verwerking te verplaatsen van de cloud naar het apparaat zelf.

Deze verschuiving is cruciaal voor de strategische positionering van Apple. On-device AI vermindert de latentie, verlaagt de hoge kosten voor cloud computing en versterkt de kernbelofte van Apple op het gebied van privacy door ervoor te zorgen dat gevoelige gebruikersgegevens op het toestel blijven. Bovendien maakt het belangrijke AI-functies mogelijk, zelfs zonder actieve internetverbinding.

Hoe PrismML enorme AI-modellen verkleint

PrismML, dat voortkomt uit onderzoek aan het California Institute of Technology, maakt gebruik van een geavanceerde methode om de manier waarop de interne waarden van een model worden opgeslagen te vereenvoudigen. Waar traditionele methoden cijfers kunnen reduceren van 16 bits naar 4 bits, gaat PrismML nog een stap verder door elk cijfer te reduceren tot slechts één of drie mogelijke waarden.

De efficiëntiewinst is aanzienlijk. PrismML heeft dit onlangs aangetoond door Alibaba's open-source Qwen-model te comprimeren van een enorme 54 GB naar minder dan 4 GB. Deze compressie zorgt ervoor dat alle 27 miljard parameters van het model kunnen draaien op een iPhone 15 of nieuwer. Volgens CEO Babak Hassibi bieden deze gecomprimeerde modellen verschillende prestatievoordelen:

  • Geheugenefficiëntie: Gebruikt tot 15x minder geheugen.
  • Snelheid: Draait zes tot acht keer sneller.
  • Energieverbruik: Verbruikt tot zes keer minder energie.

Hoewel Hassibi een bescheiden daling in prestaties opmerkte — specifiek met betrekking tot het ophalen van feiten — behouden de modellen een hoge vaardigheid in redeneren en programmeren.

Implicaties voor de halfgeleider- en hardwaremarkten

De potentiële adoptie van dergelijke compressietechnologie door een reus als Apple zou het landschap voor hardwarefabrikanten kunnen veranderen. Analisten zoals Morgan Stanley voorspellen momenteel dat de geheugenkosten van Apple tegen het boekjaar 2027 scherp kunnen stijgen om AI te ondersteunen, wat kan leiden tot hogere prijzen voor de iPhone.

Als de technologie van PrismML echter de standaard wordt, kan de vraag naar enorme geheugenmodules in smartphones worden beperkt, zelfs terwijl de behoefte aan snelle, efficiënte lokale verwerking toeneemt. Terwijl PrismML zich richt op het comprimeren van andere grote modellen zoals Google's Gemma, blijft het doel duidelijk: hoogwaardige intelligentie lokaal, snel en toegankelijk maken op consumentenhardware.

Belangrijkste conclusies

  • Enorme compressie: PrismML kan een AI-model van 54 GB verkleinen tot minder dan 4 GB, waardoor het bruikbaar wordt voor high-end smartphones zoals de iPhone 15.
  • Efficiëntiewinst: De technologie belooft tot 15x minder geheugengebruik en 6x minder energieverbruik, wat essentieel is voor het behoud van de batterijduur tijdens AI-taken.
  • Privacy en snelheid: Het verplaatsen van AI van de cloud naar het apparaat zal de latentie verminderen en de privacy van de gebruiker verbeteren, een hoeksteen van de productfilosofie van Apple.

Risico's en openstaande vragen

De resultaten van PrismML zijn veelbelovend, maar bevinden zich nog in een vroeg stadium.

Waar u op moet letten

  • Officiële bevestiging: Apple heeft nog geen partnerschap aangekondigd, dus elk persbericht of elke iOS 18 beta-notitie over on-device LLM's zal een belangrijk signaal zijn.

De kern: De compressie van PrismML zou iPhones in staat kunnen stellen om echt grote taalmodellen te hosten zonder het geheugen te overbelasten of de batterij leeg te trekken, wat zorgt voor snellere en meer privacyvriendelijke AI-ervaringen.