PrismML-ന്റെ പുതിയ Bonsai 27B 1-bit മോഡൽ 3.9 GB ഫയലിൽ ഒതുങ്ങുന്നു, കൂടാതെ iPhone 17 Pro Max-ൽ സെക്കൻഡിൽ ഏകദേശം 11 ടോക്കണുകൾ എന്ന വേഗതയിൽ പ്രവർത്തിക്കുന്നു. 27 ബില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു ലാംഗ്വേജ് മോഡലിന് ഒരു സാധാരണ സ്മാർട്ട്ഫോണിൽ പ്രവർത്തിക്കാൻ കഴിയുമെന്നതിന്റെ തെളിവാണിത്. ഡാറ്റ ക്ലൗഡിലേക്ക് അയക്കാതെ തന്നെ മികച്ച ഓഫ്‌ലൈൻ അസിസ്റ്റന്റുകളെ വാഗ്ദാനം ചെയ്യുന്നതിലൂടെ, ഇത് ഓൺ-ഡിവൈസ് AI-യുടെ അതിരുകൾ വിപുലീകരിക്കുന്നു എന്നതിനാൽ ഈ നേട്ടം ഏറെ പ്രാധാന്യമർഹിക്കുന്നു.

ഈ കുറവ് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

ഫുൾ-പ്രസിഷൻ (full-precision) Bonsai 27B മോഡലിന് 54.7 GB വലിപ്പമുണ്ട്. മോഡലിനെ ഒരു സിംഗിൾ-ബിറ്റ് റെപ്രസന്റേഷനിലേക്ക് ക്വാണ്ടൈസ് (quantising) ചെയ്തതിലൂടെ PrismML അതിന്റെ വലിപ്പം 3.9 GB ആയി കുറച്ചു—അതായത് 14 മടങ്ങ് വലിപ്പം കുറഞ്ഞു. ഈ കംപ്രഷൻ കാരണം മോഡൽ സാങ്കേതികമായി ഹൈ-എൻഡ് ഐഫോണുകളിൽ സൂക്ഷിക്കാൻ സാധിക്കും; മുൻപ് ഏതാനും നൂറ് മെഗാബൈറ്റുകളിൽ കൂടുതൽ വലിപ്പമുള്ളവ ഇതിൽ ഉൾപ്പെടാറില്ലായിരുന്നു.

ആപ്പിൾ ഹാർഡ്‌വെയറിൽ ഈ മോഡൽ എങ്ങനെ പ്രവർത്തിക്കുന്നു

ഡെവലപ്പർമാർക്ക് ന്യൂറൽ നെറ്റുകൾ നേരിട്ട് ന്യൂറൽ എൻജിനിൽ പ്രവർത്തിപ്പിക്കാൻ സഹായിക്കുന്ന ആപ്പിളിന്റെ MLX സ്റ്റാക്കിന് (MLX stack) വേണ്ടിയാണ് PrismML ഈ മോഡൽ നിർമ്മിച്ചത്. സ്വന്തം പരിശോധനയിൽ, iPhone 17 Pro Max-ൽ ഈ മോഡൽ സെക്കൻഡിൽ ഏകദേശം 11 ടോക്കണുകൾ വീതം ഉൽപ്പാദിപ്പിച്ചു. 15 സ്റ്റാൻഡേർഡ് ലാംഗ്വേജ് മോഡൽ ബെഞ്ച്മാർക്കുകളിൽ, 1-ബിറ്റ് പതിപ്പ് ഒറിജിനൽ മോഡലിന്റെ ഗുണനിലവാരത്തിന്റെ 89.5% നിലനിർത്തുന്നുണ്ടെന്ന് കണ്ടെത്തി. ഇത് കംപ്രഷൻ മോഡലിന്റെ ഉപയോഗക്ഷമതയെ തകർത്തിട്ടില്ലെന്ന് സൂചിപ്പിക്കുന്നു.

നിങ്ങൾ നേരിടാൻ സാധ്യതയുള്ള പ്രായോഗിക പരിമിതികൾ

  • മെമ്മറി സമ്മർദ്ദം (Memory pressure) – 3.9 GB ഫയൽ ഫോണിൽ ഒതുങ്ങുമെങ്കിലും, സമീപകാല സംഭാഷണങ്ങൾ സൂക്ഷിക്കുന്നതിനായി മോഡലിന് ഒരു കീ-വാല്യൂ (KV) കാഷെ ആവശ്യമാണ്. സംഭാഷണത്തിന്റെ ദൈർഘ്യം കൂടുന്നതിനനുസരിച്ച് ഈ കാഷെയും വർദ്ധിക്കുകയും ഫോണിന്റെ റാം (RAM) ഉപയോഗം കൂട്ടുകയും ചെയ്യും, ഇത് വേഗത കുറയാൻ കാരണമായേക്കാം.
  • ചൂടും ബാറ്ററിയും – 27 ബില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു നെറ്റ്‌വർക്ക് പ്രവർത്തിപ്പിക്കുന്നത് ന്യൂറൽ എൻജിന് വലിയ ജോലി നൽകുന്നു. തുടർച്ചയായ ഉപയോഗം ഫോണുകൾ ചൂടാകാൻ കാരണമാകും, കൂടാതെ ഹാർഡ്‌വെയർ സംരക്ഷിക്കുന്നതിനായി ആപ്പിളിന്റെ തെർമൽ മാനേജ്‌മെന്റ് പ്രകടനം കുറച്ചേക്കാം (throttle). PrismML കൃത്യമായ ബാറ്ററി ഉപയോഗ കണക്കുകൾ പുറത്തുവിട്ടിട്ടില്ലാത്തതിനാൽ, ദൈനംദിന ഉപയോഗത്തിൽ ഇത് എത്രത്തോളം ബാധിക്കുമെന്ന് നിലവിൽ അറിയില്ല.
  • ഡിവൈസ് പ്രത്യേകതകൾ – ഈ പ്രകടനത്തെക്കുറിച്ചുള്ള അവകാശവാദം ഏറ്റവും പുതിയ iPhone 17 Pro Max-ന് മാത്രമുള്ളതാണ്. പഴയ ഐഫോണുകൾക്കോ, കുറഞ്ഞ ശേഷിയുള്ള iOS ഉപകരണങ്ങൾക്കോ, അല്ലെങ്കിൽ ആൻഡ്രോയിഡ് ഫോണുകൾക്കോ ഇതേ ന്യൂറൽ എൻജിൻ ശേഷി ലഭ്യമല്ല. അതിനാൽ അവയിൽ മോഡൽ പ്രവർത്തിക്കാൻ കൂടുതൽ സമയം എടുക്കുകയോ അല്ലെങ്കിൽ ഒട്ടും പ്രവർത്തിക്കാതിരിക്കുകയോ ചെയ്തേക്കാം.

ആർക്കൊക്കെ ഗുണമുണ്ടാകും, ആര് പിന്നിലാകും

പ്രൈവസിക്ക് മുൻഗണന നൽകുന്ന ആപ്പുകൾ നിർമ്മിക്കുന്ന ഡെവലപ്പർമാർക്ക് ഇനി ഉപയോക്താവിന്റെ ഡാറ്റ ഫോണിൽ തന്നെ സൂക്ഷിച്ചുകൊണ്ട് വലിയ ലാംഗ്വേജ് മോഡലുകൾ ഓൺ-ഡിവൈസ് പ്രവർത്തിപ്പിക്കാം. ഇത് ക്ലൗഡ് സബ്‌സ്‌ക്രിപ്ഷനുകൾ ഇല്ലാതെ തന്നെ കൂടുതൽ വേഗതയുള്ള വോയ്‌സ് അസിസ്റ്റന്റുകൾ, ഓഫ്‌ലൈൻ വിവർത്തനം, അല്ലെങ്കിൽ സന്ദർഭത്തിനനുസരിച്ചുള്ള ടെക്സ്റ്റ് ജനറേഷൻ എന്നിവ സാധ്യമാക്കും.

ആൻഡ്രോയിഡ് നിർമ്മാതാക്കൾക്കും മിഡ്-റേഞ്ച് ഫോണുകൾ ഉപയോഗിക്കുന്നവർക്കും ഇതിന്റെ ഗുണം ലഭിക്കില്ല. ഈ മോഡൽ ആപ്പിളിന്റെ സ്വന്തം സാങ്കേതികവിദ്യയെ (proprietary stack) ആശ്രയിച്ചാണ് പ്രവർത്തിക്കുന്നത്, അതിനാൽ ഇതേ കംപ്രഷൻ മറ്റ് ഇക്കോസിസ്റ്റങ്ങളിൽ തനിയെ പ്രവർത്തിക്കില്ല.

ഇനിയും പരിശോധിക്കേണ്ട കാര്യങ്ങൾ

PrismML നൽകുന്ന കണക്കുകൾ അവരുടെ ആഭ്യന്തര ബെഞ്ച്മാർക്കുകളിൽ നിന്നുള്ളതാണ്. സ്വതന്ത്ര പരിശോധകർ ദീർഘനേരത്തെ ഉപയോഗത്തിൽ സെക്കൻഡിൽ എത്ര ടോക്കണുകൾ ലഭിക്കുന്നു എന്ന് പരിശോധിക്കേണ്ടതുണ്ട്, കൂടാതെ യഥാർത്ഥ ബാറ്ററി ഉപഭോഗം അളക്കേണ്ടതുണ്ട്, KV കാഷെ വർദ്ധിക്കുമ്പോൾ പ്രകടനം എത്ര വേഗത്തിൽ കുറയുന്നുവെന്നും വിലയിരുത്തണം. ഒരു മണിക്കൂർ ചാറ്റ് ചെയ്യുകയോ, കണ്ടന്റ് സ്ട്രീം ചെയ്യുകയോ, അല്ലെങ്കിൽ മറ്റ് ആപ്പുകൾക്കൊപ്പം ഈ മോഡൽ പ്രവർത്തിപ്പിക്കുകയോ പോലുള്ള യഥാർത്ഥ സാഹചര്യങ്ങളിൽ, ലാബ് പരീക്ഷണങ്ങൾക്കപ്പുറം ഈ 11-ടോക്കൺ വേഗത നിലനിൽക്കുമോ എന്ന് അറിയാൻ സാധിക്കും.

ചുരുക്കത്തിൽ

27 ബില്യൺ പാരാമീറ്ററുകളുള്ള ലാംഗ്വേജ് മോഡലുകളെ ഒരു ഫ്ലാഗ്ഷിപ്പ് ഐഫോണിൽ ഒതുങ്ങുന്ന രീതിയിൽ കംപ്രസ് ചെയ്യാൻ കഴിയുമെന്നും, മിതമായ വേഗതയിൽ മികച്ച ഗുണനിലവാരം നൽകാൻ സാധിക്കുമെന്നും Bonsai 27B തെളിയിക്കുന്നു. ഈ മുന്നേറ്റം ആപ്പിളിന്റെ MLX സ്റ്റാക്കിനെ ആശ്രയിച്ചാണ് നിലനിൽക്കുന്നത്, കൂടാതെ മെമ്മറി ഉപയോഗം, തെർമൽ തടസ്സങ്ങൾ (thermal throttling), ബാറ്ററി ഉപയോഗം എന്നിവ പോലുള്ള പ്രായോഗിക വെല്ലുവിളികൾ ഇപ്പോഴും നേരിടുന്നുണ്ട്. തുടർന്നുള്ള പരിശോധനകൾ ഈ അവകാശവാദങ്ങൾ ശരിവെക്കുകയാണെങ്കിൽ, ഐഫോൺ ഫ്ലാഗ്ഷിപ്പുകളും മറ്റ് വിപണികളും തമ്മിലുള്ള ഹാർഡ്‌വെയർ വ്യത്യാസം കുറയുന്നതിനനുസരിച്ച്, ഓൺ-ഡിവൈസ് AI വെറും ഡെമോകളിൽ നിന്ന് ദൈനംദിന ആപ്പുകളിലേക്ക് മാറാൻ സാധ്യതയുണ്ട്.