PrismML యొక్క కొత్త Bonsai 27B 1-bit మోడల్ 3.9 GB ఫైల్‌లో సరిపోతుంది మరియు iPhone 17 Pro Maxలో సెకనుకు సుమారు 11 టోకెన్ల వేగంతో నడుస్తుంది. ఇది ఒక 27-బిలియన్-పారామీటర్ భాషా నమూనా (language model) వినియోగదారుల స్మార్ట్‌ఫోన్‌లో కూడా ఉండగలదని నిరూపిస్తుంది. ఈ ప్రకటన ముఖ్యమైనది ఎందుకంటే ఇది డేటాను క్లౌడ్‌కు పంపకుండానే, మెరుగైన ఆఫ్‌లైన్ అసిస్టెంట్‌లను అందిస్తూ, ఆన్-డివైస్ AI (on-device AI) పరిధిని విస్తరిస్తుంది.

ఈ తగ్గింపు ఎందుకు ముఖ్యం

ఫుల్-ప్రిసిషన్ (full-precision) Bonsai 27B పరిమాణం 54.7 GB ఉంటుంది. మోడల్‌ను సింగిల్-బిట్ రిప్రజెంటేషన్‌కు క్వాంటైజ్ (quantising) చేయడం ద్వారా, PrismML దానిని 3.9 GBకి తగ్గించింది—ఇది 14 రెట్ల పరిమాణ తగ్గింపు. ఈ కంప్రెషన్ వల్ల మోడల్‌ను హై-ఎండ్ ఐఫోన్‌లలో సాంకేతికంగా నిల్వ చేయడం సాధ్యమవుతుంది; అంతకుముందు కొన్ని వందల మెగాబైట్ల కంటే ఎక్కువ పరిమాణం ఉన్న వాటిని నిల్వ చేయడం సాధ్యమయ్యేది కాదు.

Apple హార్డ్‌వేర్‌పై ఈ మోడల్ పనితీరు ఎలా ఉంది

డెవలపర్లు న్యూరల్ నెట్‌లను నేరుగా న్యూరల్ ఇంజిన్‌పై నడపడానికి వీలు కల్పించే APIల సముదాయమైన Apple యొక్క MLX స్టాక్ కోసం PrismML ఈ మోడల్‌ను రూపొందించింది. తమ స్వంత పరీక్షల్లో, ఈ మోడల్ iPhone 17 Pro Maxలో సెకనుకు సుమారు 11 టోకెన్లను ఉత్పత్తి చేసింది. 15 ప్రామాణిక లాంగ్వేజ్-మోడల్ బెంచ్‌మార్క్‌లలో, ఈ 1-బిట్ వెర్షన్ అసలు మోడల్ యొక్క క్వాలిటీ స్కోర్‌లలో 89.5% నిల్వ చేసుకుంది, దీనివల్ల కంప్రెషన్ వల్ల దాని ఉపయోగం దెబ్బతినలేదని అర్థమవుతోంది.

మీరు ఎదుర్కొనే ఆచరణాత్మక పరిమితులు

  • మెమరీ ప్రెజర్ (Memory pressure) – 3.9 GB ఫైల్ సరిపోతుంది, కానీ ఇటీవలి సందర్భాన్ని (context) నిల్వ చేయడానికి మోడల్‌కు కీ-వాల్యూ (KV) క్యాష్ కూడా అవసరం. సంభాషణ పొడవు పెరిగేకొద్దీ ఆ క్యాష్ పెరుగుతుంది మరియు ఫోన్ యొక్క RAM వినియోగాన్ని పెంచి, వేగాన్ని తగ్గించే అవకాశం ఉంది.
  • వేడి మరియు బ్యాటరీ – 27-బిలియన్-పారామీటర్ నెట్‌వర్క్‌ను నడపడం వల్ల న్యూరల్ ఇంజిన్‌పై ఒత్తిడి పెరుగుతుంది. నిరంతర లోడ్ వల్ల ఫోన్లు వేడెక్కే అవకాశం ఉంది మరియు హార్డ్‌వేర్‌ను రక్షించడానికి Apple యొక్క థర్మల్ మేనేజ్‌మెంట్ పనితీరును తగ్గిస్తుంది (throttle). PrismML ఇంకా ఖచ్చితమైన బ్యాటరీ వినియోగ గణాంకాలను విడుదల చేయలేదు, కాబట్టి రోజువారీ వినియోగంలో దీని ప్రభావం ఎలా ఉంటుందో తెలియదు.
  • డివైస్ ప్రత్యేకత (Device specificity) – ఈ పనితీరు కేవలం తాజా iPhone 17 Pro Maxకు మాత్రమే వర్తిస్తుంది. పాత ఐఫోన్‌లు, తక్కువ స్థాయి iOS పరికరాలు లేదా ఆండ్రాయిడ్ ఫోన్‌లలో అదే స్థాయి న్యూరల్-ఇంజిన్ సామర్థ్యాలు ఉండవు, కాబట్టి వాటిలో ఇన్ఫరెన్స్ (inference) నెమ్మదిగా ఉంటుంది లేదా మోడల్ అసలు సరిపోకపోవచ్చు.

ఎవరికి లాభం, ఎవరు వెనుకబడిపోవచ్చు

ప్రైవసీకి ప్రాధాన్యత ఇచ్చే యాప్‌ల డెవలపర్లు ఇప్పుడు యూజర్ డేటాను ఫోన్‌లోనే ఉంచుతూ, ఆన్-డివైస్‌లోనే లార్జ్ లాంగ్వేజ్ మోడల్‌ను హోస్ట్ చేయవచ్చు. దీనివల్ల క్లౌడ్ సబ్‌స్క్రిప్షన్ లేకుండానే మరింత వేగవంతమైన వాయిస్ అసిస్టెంట్‌లు, ఆఫ్‌లైన్ అనువాదం లేదా సందర్భోచిత టెక్స్ట్ జనరేషన్ సాధ్యమవుతుంది.

ఆండ్రాయిడ్ తయారీదారులు మరియు మిడ్-రేంజ్ ఫోన్ వినియోగదారులు దీని ప్రయోజనాన్ని పొందలేరు. ఈ మోడల్ Apple యొక్క ప్రొప్రైటరీ స్టాక్ (proprietary stack) పై ఆధారపడి ఉంటుంది, కాబట్టి ఇదే కంప్రెషన్ ఇతర ఎకోసిస్టమ్‌లలో ఆటోమేటిక్‌గా పనిచేయదు.

ఇంకా పరీక్షించాల్సిన అంశాలు

PrismML గణాంకాలు అంతర్గత బెంచ్‌మార్క్‌ల నుండి సేకరించబడ్డాయి. స్వతంత్ర పరీక్షకులు సుదీర్ఘ సెషన్లలో సెకనుకు ఎన్ని టోకెన్లు వస్తున్నాయో ధృవీకరించాలి, వాస్తవ బ్యాటరీ వినియోగాన్ని కొలవాలి మరియు KV క్యాష్ పెరిగే కొద్దీ పనితీరు ఎంత వేగంగా తగ్గుతుందో అంచనా వేయాలి. ఒక గంట పాటు చాటింగ్ చేయడం, కంటెంట్‌ను స్ట్రీమ్ చేయడం లేదా ఇతర యాప్‌లతో పాటు ఈ మోడల్‌ను నడపడం వంటి వాస్తవ ప్రపంచ వినియోగం ద్వారానే, నియంత్రిత ల్యాబ్ వెలుపల ఈ 11-టోకెన్-పర్-సెకండ్ గణాంకం నిజమో కాదో తెలుస్తుంది.

ముగింపు (Takeaway)

27-బిలియన్-పారామీటర్ భాషా నమూనాలను ఫ్లాగ్‌షిప్ ఐఫోన్‌లో పనిచేసేలా తగినంతగా కంప్రెస్ చేయవచ్చని Bonsai 27B నిరూపిస్తోంది, ఇది తక్కువ వేగంతోనే దాదాపు పూర్తి నాణ్యతను అందిస్తుంది. ఈ విప్లవాత్మక మార్పు Apple యొక్క MLX స్టాక్ పై ఆధారపడి ఉంది మరియు ఇది ఇంకా కొన్ని ఆచరణాత్మక సవాళ్లను ఎదుర్కొంటోంది: మెమరీ ఓవర్‌హెడ్, థర్మల్ థ్రోటలింగ్ మరియు తెలియని బ్యాటరీ ప్రభావం. తదుపరి పరీక్షలు ఈ వాదనలను ధృవీకరిస్తే, iOS ఫ్లాగ్‌షిప్‌లకు మరియు మిగిలిన మార్కెట్‌కు మధ్య ఉన్న హార్డ్‌వేర్ వ్యత్యాసం తగ్గుతుండగా, ఆన్-డివైస్ AI నిచ్ డెమోల నుండి రోజువారీ యాప్‌ల వరకు విస్తరించవచ్చు.