Apple తన ఎకోసిస్టమ్లోకి అధునాతన మోడల్ కంప్రెషన్ టెక్నాలజీని చేర్చుకోవడానికి, Khosla Ventures మద్దతు ఉన్న స్టార్టప్ PrismMLతో ప్రాథమిక చర్చలు జరుపుతున్నట్లు సమాచారం. ఈ చర్య యొక్క లక్ష్యం మొబైల్ హార్డ్వేర్ పరిమితులు మరియు ఆధునిక Large Language Models (LLMs) యొక్క భారీ కంప్యూటేషనల్ అవసరాల మధ్య ఉన్న అంతరాన్ని తగ్గించి, అత్యాధునిక ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ను నేరుగా iPhoneలోకి తీసుకురావడం.
ఆన్-డివైస్ AI పరిమితులను పరిష్కరించడం
Apple iOS 18 మరియు రీడిజైన్ చేసిన Siriని విడుదల చేస్తున్న తరుణంలో, కంపెనీ ఒక ముఖ్యమైన సాంకేతిక సవాలును ఎదుర్కొంటోంది: హై-పెర్ఫార్మెన్స్ AI మోడళ్లకు సాధారణ స్మార్ట్ఫోన్ సామర్థ్యాలకు మించిన భారీ మెమరీ మరియు ప్రాసెసింగ్ పవర్ అవసరం. PrismML టెక్నాలజీని అనుసంధానించడం ద్వారా, Apple ప్రాసెసింగ్ను క్లౌడ్ నుండి నేరుగా పరికరం (device) లోకే మార్చాలని చూస్తోంది.
ఈ మార్పు Apple యొక్క వ్యూహాత్మక స్థానానికి చాలా కీలకం. ఆన్-డివైస్ AI వల్ల లేటెన్సీ (latency) తగ్గుతుంది, ఖరీదైన క్లౌడ్ కంప్యూటింగ్ ఖర్చులు తగ్గుతాయి మరియు సున్నితమైన యూజర్ డేటా హ్యాండ్సెట్లోనే ఉండేలా చూడటం ద్వారా Apple యొక్క ప్రధాన గోప్యత (privacy) వాగ్దానాన్ని ఇది బలోపేతం చేస్తుంది. అంతేకాకుండా, ఇంటర్నెట్ కనెక్షన్ లేకపోయినా కీలకమైన AI ఫీచర్లు పనిచేయడానికి ఇది అనుమతిస్తుంది.
PrismML భారీ AI మోడళ్లను ఎలా తగ్గిస్తుంది
California Institute of Technology పరిశోధనల నుండి ఉద్భవించిన PrismML, ఒక మోడల్ యొక్క అంతర్గత విలువలు (internal values) ఎలా నిల్వ చేయబడతాయో సరళీకరించే ఒక అధునాతన పద్ధతిని ఉపయోగిస్తుంది. సాంప్రదాయ పద్ధతులు గణాంకాలను 16 బిట్ల నుండి 4 బిట్లకు తగ్గించవచ్చు, కానీ PrismML దీనిని మరింత ముందుకు తీసుకెళ్లి, ప్రతి గణాంకాన్ని కేవలం ఒకటి లేదా మూడు సాధ్యమయ్యే విలువలకు తగ్గిస్తుంది.
దీనివల్ల కలిగే సామర్థ్య వృద్ధి గణనీయంగా ఉంటుంది. Alibaba యొక్క ఓపెన్-సోర్స్ Qwen మోడల్ను భారీగా ఉన్న 54 GB నుండి 4 GB కంటే తక్కువకు తగ్గించడం ద్వారా PrismML ఇటీవల దీనిని నిరూపించింది. ఈ కంప్రెషన్ వల్ల మోడల్లోని మొత్తం 27 బిలియన్ పారామితులు iPhone 15 లేదా అంతకంటే కొత్త మోడల్లో పనిచేయడానికి వీలవుతుంది. CEO Babak Hassibi ప్రకారం, ఈ కంప్రెస్డ్ మోడళ్లు పలు ప్రయోజనాలను అందిస్తాయి:
- మెమరీ సామర్థ్యం: 15 రెట్లు తక్కువ మెమరీని ఉపయోగిస్తుంది.
- వేగం: ఆరు నుండి ఎనిమిది రెట్లు వేగంగా నడుస్తుంది.
- విద్యుత్ వినియోగం: ఆరు రెట్లు తక్కువ శక్తిని వినియోగిస్తుంది.
Hassibi గమనించినట్లుగా, పనితీరులో స్వల్ప తగ్గుదల (ముఖ్యంగా వాస్తవ సమాచారాన్ని గుర్తుంచుకోవడం/factual recall విషయంలో) ఉన్నప్పటికీ, రీజనింగ్ మరియు కోడింగ్ సామర్థ్యాలలో ఈ మోడళ్లు అధిక నైపుణ్యాన్ని కలిగి ఉంటాయి.
సెమీకండక్టర్ మరియు హార్డ్వేర్ మార్కెట్లపై ప్రభావం
Apple వంటి దిగ్గజం ఇటువంటి కంప్రెషన్ టెక్నాలజీని స్వీకరించడం వల్ల హార్డ్వేర్ తయారీదారుల రంగంలో మార్పులు రావచ్చు. ప్రస్తుతం, Morgan Stanley వంటి విశ్లేషకులు AIని సపోర్ట్ చేయడానికి Apple యొక్క మెమరీ ఖర్చులు 2027 ఆర్థిక సంవత్సరం నాటికి గణనీయంగా పెరిగే అవకాశం ఉందని అంచనా వేస్తున్నారు, ఇది iPhone ధరలను పెంచవచ్చు.
అయితే, PrismML టెక్నాలజీ ఒక ప్రామాణికంగా మారితే, స్మార్ట్ఫోన్లలో భారీ మెమరీ మాడ్యూల్స్ కోసం డిమాండ్ తగ్గే అవకాశం ఉంది, అదే సమయంలో హై-స్పీడ్, సమర్థవంతమైన లోకల్ ప్రాసెసింగ్ అవసరం పెరుగుతుంది. PrismML, Google యొక్క Gemma వంటి ఇతర ప్రధాన మోడళ్లను కంప్రెస్ చేసే దిశగా అడుగులు వేస్తున్న కొద్దీ, దాని లక్ష్యం స్పష్టంగా ఉంది: ఉన్నత స్థాయి ఇంటెలిజెన్స్ను వినియోగదారుల హార్డ్వేర్పై స్థానికంగా (local), వేగంగా మరియు సులభంగా అందుబాటులోకి తీసుకురావడం.
ముఖ్య అంశాలు
- భారీ కంప్రెషన్: PrismML 54 GB AI మోడల్ను 4 GB కంటే తక్కువకు తగ్గించగలదు, తద్వారా iPhone 15 వంటి హై-ఎండ్ స్మార్ట్ఫోన్లలో ఇది సాధ్యమవుతుంది.
- సామర్థ్య వృద్ధి: ఈ టెక్నాలజీ 15 రెట్లు తక్కువ మెమరీ వినియోగం మరియు 6 రెట్లు తక్కువ శక్తి వినియోగాన్ని అందిస్తుంది, ఇది AI పనుల సమయంలో బ్యాటరీ లైఫ్ను కాపాడటానికి చాలా కీలకం.
- గోప్యత మరియు వేగం: AIని క్లౌడ్ నుండి పరికరానికి మార్చడం వల్ల లేటెన్సీ తగ్గుతుంది మరియు యూజర్ ప్రైవసీ పెరుగుతుంది, ఇది Apple యొక్క ఉత్పత్తి తత్వానికి మూలస్తంభం.
రిస్క్లు మరియు పెండింగ్లో ఉన్న ప్రశ్నలు
PrismML ఫలితాలు ఆశాజనకంగా ఉన్నప్పటికీ, ఇవి ఇంకా ప్రారంభ దశలోనే ఉన్నాయి.
తదుపరి ఏం గమనించాలి
- అధికారిక ధృవీకరణ: Apple ఇంకా భాగస్వామ్యాన్ని ప్రకటించలేదు, కాబట్టి ఆన్-డివైస్ LLMల గురించి ఏదైనా ప్రెస్ రిలీజ్ లేదా iOS 18 beta నోట్ కీలక సంకేతం అవుతుంది.
ముగింపు: PrismML కంప్రెషన్ వల్ల మెమరీ పెరగకుండా లేదా బ్యాటరీ ఖాళీ కాకుండా, iPhoneలలో నిజమైన లార్జ్ లాంగ్వేజ్ మోడళ్లను హోస్ట్ చేయవచ్చు, తద్వారా వేగవంతమైన, ప్రైవేట్ AI అనుభవాలను అందించవచ్చు.