Prism ML, మొబైల్ ఫోన్‌లో సరిపోయే Qwen 3.6 లార్జ్-లాంగ్వేజ్ మోడల్ వెర్షన్‌ అయిన Bonsai 27Bని విడుదల చేసింది. 1-bit quantization ద్వారా 54 GB ఉన్న అసలు మోడల్‌ను 4 GB కంటే తక్కువకు తగ్గించడం ద్వారా, కంపెనీ 14 రెట్లు పరిమాణాన్ని తగ్గించింది మరియు క్లౌడ్ API కాల్స్ లేకుండా వినియోగదారులు మోడల్‌ను స్థానికంగా (locally) రన్ చేసేలా చేసింది.

ఈ కంప్రెషన్ ఎందుకు ముఖ్యం

LLMల వెయిట్స్ (weights) డజన్ల కొద్దీ గిగాబైట్ల స్థలాన్ని ఆక్రమించడం వల్ల, వాటికి సాధారణంగా డెస్క్‌టాప్-క్లాస్ GPU లేదా పెయిడ్ API అవసరమవుతాయి. Quantization—ప్రతి వెయిట్‌కు తక్కువ బిట్‌లను ఉపయోగించడం—మోడల్ పరిమాణాన్ని తగ్గిస్తుంది, కానీ అదే సమయంలో అందులోని జ్ఞానాన్ని కూడా తగ్గించవచ్చు. Bonsai రెండు విభిన్న వెర్షన్లను అందిస్తుంది: ఒక టెర్నరీ వేరియంట్ (మూడు సాధ్యమయ్యే వెయిట్ విలువలు, 7.2 GB) మరియు ఒక అగ్రెసివ్ 1-bit వేరియంట్ (3.9 GB). పరిమాణం మరియు సామర్థ్యం మధ్య ఉండే ఈ సమతుల్యత (trade-off) ఈ పరీక్షకు ప్రధాన కారణం.

వాస్తవ సమాచారాన్ని గుర్తుంచుకోవడంలో (factual recall) మోడల్స్ ఎలా పనిచేస్తున్నాయి

టెస్టర్ యొక్క సూట్‌లో అసలు Qwen 3.6 ప్రతి చారిత్రక తేదీకి సంబంధించిన ప్రశ్నకు సరిగ్గా సమాధానం ఇచ్చింది. టెర్నరీ Bonsai ఆరు ప్రశ్నలలో ఐదుంటిని తప్పుగా చెప్పింది, మరియు 1-bit వెర్షన్ ప్రతి తేదీ ప్రశ్నలోనూ విఫలమైంది. ఊహించినట్లుగానే, అగ్రెసివ్ కంప్రెషన్ అరుదైన, నిర్దిష్టమైన వాస్తవాలను మొదట తొలగిస్తుంది, కేవలం భాషా ప్రవాహాన్ని (fluency) ఇచ్చే విస్తృతమైన భాషా నమూనాలను మాత్రమే ఉంచుతుంది.

కోడింగ్ పనితీరు వేరే కథ చెబుతోంది

ప్రాంప్ట్‌లు కోడింగ్ టాస్క్‌లకు మారినప్పుడు, ఫలితాలు పూర్తిగా మారిపోయాయి. మూడు మోడల్స్ కూడా క్లాసిక్ కన్కరెన్సీ బగ్స్‌ను (concurrency bugs) ఎటువంటి లోపం లేకుండా పరిష్కరించాయి. ఒక కష్టమైన React యానిమేషన్ ఛాలెంజ్‌లో, 1-bit Bonsai కేవలం రెండు ప్రయత్నాల్లోనే పూర్తి చేయగా, అసలు మోడల్ కోడ్‌ను పార్స్ (parsing) చేయడానికి అదనపు సమయం తీసుకోవడం వల్ల నాలుగు ప్రయత్నాలు పట్టింది. టెర్నరీ వెర్షన్ పది ప్రయత్నాలు చేయాల్సి వచ్చింది మరియు చివరికి టెస్ట్ సర్వర్‌ను క్రాష్ చేసింది.

ఆచరణాత్మక అడ్డంకులు

Bonsai ప్రముఖ Ollama రన్‌టైమ్‌పై పనిచేయదు. 1-bit మోడల్‌కు Prism ML అందించే కస్టమ్ ఎగ్జిక్యూషన్ లేయర్ అవసరం, కాబట్టి వినియోగదారులు దీనిని ఉపయోగించడానికి నాన్-స్టాండర్డ్ సాఫ్ట్‌వేర్‌ను ఇన్‌స్టాల్ చేయాల్సి ఉంటుంది. ఈ ఆధారితం (dependency) వల్ల, తమ ఎన్విరాన్మెంట్‌ను మార్చుకోవడంలో (tweaking) నైపుణ్యం ఉన్నవారికి మాత్రమే ఈ మోడల్ ఉపయోగకరంగా ఉంటుంది.

Bonsaiని ఎవరు ఎంచుకోవాలి మరియు ఎవరు దూరంగా ఉండాలి

  • జనరల్-పర్పస్ చాట్ – వాస్తవ వివరాలు భారీగా తగ్గడం వల్ల, Bonsaiని నాలెడ్జ్-బేస్ అసిస్టెంట్‌గా ఉపయోగించడం అనుచితం. చరిత్ర, సైన్స్ లేదా ప్రస్తుత అంశాలకు ఖచ్చితమైన సమాధానాల కోసం, అసలు మోడల్ లేదా క్లౌడ్ APIని మాత్రమే వాడండి.
  • లోకల్ కోడింగ్ ఎయిడ్ – కోడ్‌ను సూచించగల, బగ్స్‌ను గుర్తించగల మరియు ఫోన్ లేదా తక్కువ సామర్థ్యం ఉన్న లాప్‌టాప్‌లో నడవగల ఆఫ్‌లైన్ టూల్ కావాలనుకునే డెవలపర్‌లకు, 1-bit వెర్షన్ వేగం మరియు తక్కువ స్టోరేజ్ ఖర్చుతో ఉపయోగపడుతుంది. ఇది స్వయంప్రతిపత్తి కలిగిన ఏజెంట్ (autonomous agent) కాదు, కానీ లాజిక్ మరియు సింటాక్స్‌ను సమర్థవంతంగా నిర్వహిస్తుంది.

ముగింపు

54 GB LLMని ఫోన్‌కు అనుకూలమైన 3.9 GBకి తగ్గించి కూడా, ఆశ్చర్యకరంగా వేగవంతమైన మరియు సమర్థవంతమైన కోడ్ సూచనలను పొందవచ్చని Bonsai 27B నిరూపిస్తోంది. అయితే, దీనికి ప్రతిఫలంగా నిర్దిష్ట వాస్తవాలను గుర్తుంచుకునే సామర్థ్యం దాదాపు పూర్తిగా తగ్గిపోతుంది, కాబట్టి ఈ మోడల్은 నిఘంటువు వంటి జ్ఞానం కంటే ఆఫ్‌లైన్ వేగానికి ప్రాధాన్యత ఇచ్చే డెవలపర్‌ల టూల్‌బాక్స్‌లో ఉండటానికి సరిపోతుంది.