Prism ML ने Bonsai 27B पेश किया है, जो Qwen 3.6 लार्ज-लैंग्वेज मॉडल का एक ऐसा वर्ज़न है जो मोबाइल फोन पर फिट हो जाता है। 1-bit quantization के साथ मूल 54 GB मॉडल को 4 GB से भी कम में समेटकर, कंपनी ने आकार में 14 गुना कमी की है और उपयोगकर्ताओं को क्लाउड API कॉल के बिना मॉडल को स्थानीय रूप से (locally) चलाने की सुविधा दी है।

कंप्रेशन (compression) क्यों महत्वपूर्ण है

LLMs को आमतौर पर डेस्कटॉप-क्लास GPU या पेड API की आवश्यकता होती है क्योंकि उनके weights दर्जनों गीगाबाइट जगह लेते हैं। Quantization—प्रत्येक weight के लिए कम bits का उपयोग करना—मॉडल के आकार को छोटा कर देता है लेकिन इसके साथ ही ज्ञान (knowledge) में भी कमी आ सकती है। Bonsai दो चरम विकल्प प्रदान करता है: एक ternary variant (तीन संभावित weight values, 7.2 GB) और एक आक्रामक 1-bit variant (3.9 GB)। आकार और क्षमता के बीच का यह संतुलन ही इस परीक्षण का मुख्य आधार है।

तथ्यात्मक याददाश्त (factual recall) में मॉडल कैसा प्रदर्शन करते हैं

टेस्टर के सुइट में मूल Qwen 3.6 ने ऐतिहासिक तारीखों से जुड़े हर सवाल का सही जवाब दिया। Ternary Bonsai छह में से पांच सवालों के जवाब देने में चूक गया, और 1-bit वर्ज़न हर एक तारीख संबंधी क्वेरी में विफल रहा। जैसा कि अपेक्षित था, आक्रामक कंप्रेशन सबसे पहले दुर्लभ और विशिष्ट तथ्यों को हटा देता है, और केवल उन व्यापक भाषाई पैटर्न को सुरक्षित रखता है जो प्रवाह (fluency) बनाए रखते हैं।

कोडिंग प्रदर्शन एक अलग कहानी कहता है

जब प्रॉम्प्ट्स को कोडिंग कार्यों में बदला गया, तो परिणाम पूरी तरह बदल गए। तीनों मॉडलों ने बिना किसी त्रुटि के क्लासिक concurrency bugs को हल कर लिया। एक चुनौतीपूर्ण React animation टास्क पर, 1-bit Bonsai ने दो प्रयासों में काम पूरा कर लिया, जबकि मूल मॉडल को चार प्रयासों की आवश्यकता पड़ी क्योंकि उसने कोड को पार्स (parse) करने में अतिरिक्त समय लिया। Ternary वर्ज़न को दस प्रयासों की आवश्यकता पड़ी और अंततः उसने टेस्ट सर्वर को क्रैश कर दिया।

व्यावहारिक बाधाएं

Bonsai लोकप्रिय Ollama runtime पर नहीं चलता है। 1-bit मॉडल को Prism ML द्वारा प्रदान किए गए एक कस्टम execution layer की आवश्यकता होती है, इसलिए इसे चलाने के लिए उपयोगकर्ताओं को नॉन-स्टैंडर्ड सॉफ्टवेयर इंस्टॉल करना होगा। यह निर्भरता मॉडल की उपयोगिता को केवल उन लोगों तक सीमित कर देती है जो अपने एनवायरनमेंट (environment) में बदलाव करने में सहज हैं।

किसे Bonsai पर विचार करना चाहिए, और किसे इससे दूर रहना चाहिए

  • सामान्य उद्देश्य वाली चैट (General-purpose chat) – तथ्यात्मक विवरणों की भारी कमी Bonsai को नॉलेज-बेस असिस्टेंट के रूप में अनुपयुक्त बनाती है। इतिहास, विज्ञान या समसामयिक घटनाओं के सटीक उत्तरों के लिए, मूल मॉडल या क्लाउड API का ही उपयोग करें।
  • लोकल कोडिंग सहायक (Local coding aide) – जो डेवलपर्स एक ऐसा ऑफलाइन टूल चाहते हैं जो कोड सुझा सके, बग्स पकड़ सके और फोन या कम क्षमता वाले लैपटॉप पर चल सके, उनके लिए 1-bit वर्ज़न गति और कम स्टोरेज लागत प्रदान करेगा। यह कोई स्वायत्त एजेंट (autonomous agent) नहीं है, लेकिन यह लॉजिक और सिंटैक्स को कुशलतापूर्वक संभालता है।

निष्कर्ष (Bottom line)

Bonsai 27B दिखाता है कि आप 54 GB के LLM को फोन के अनुकूल 3.9 GB तक कंप्रेस कर सकते हैं और फिर भी आश्चर्यजनक रूप से तेज़ और सक्षम कोड सुझाव प्राप्त कर सकते हैं। इसकी कीमत विशिष्ट तथ्यात्मक याददाश्त का लगभग पूरी तरह से खत्म हो जाना है, इसलिए यह मॉडल उन डेवलपर्स के टूलबॉक्स के लिए है जो विश्वकोश जैसे ज्ञान के बजाय ऑफलाइन गति को महत्व देते हैं।