Prism ML বাজারে এনেছে Bonsai 27B, যা Qwen 3.6 লার্জ-ল্যাঙ্গুয়েজ মডেলের একটি সংস্করণ এবং এটি একটি মোবাইল ফোনে ব্যবহার করা সম্ভব। ১-বিট কোয়ান্টাইজেশন (1-bit quantization) ব্যবহার করে মূল ৫৪ জিবি (54 GB) মডেলটিকে ৪ জিবি-র নিচে নামিয়ে এনে কোম্পানিটি ১৪ গুণ আকারে হ্রাস করেছে এবং ব্যবহারকারীদের ক্লাউড API কল ছাড়াই স্থানীয়ভাবে (locally) মডেলটি চালানোর সুবিধা দিচ্ছে।

কেন এই কম্প্রেশন বা সংকোচন গুরুত্বপূর্ণ

LLM-গুলোর সাধারণত একটি ডেস্কটপ-ক্লাস GPU বা একটি পেইড API প্রয়োজন হয় কারণ এগুলোর ওয়েট (weights) ডজন ডজন গিগাবাইট জায়গা দখল করে। কোয়ান্টাইজেশন—প্রতিটি ওয়েটে কম বিট ব্যবহার করা—মডেলটিকে ছোট করে ফেলে কিন্তু এর ফলে জ্ঞান বা তথ্যও হারিয়ে যেতে পারে। Bonsai দুটি চরম বিকল্প প্রদান করে: একটি টারনারি ভেরিয়েন্ট (ternary variant - তিনটি সম্ভাব্য ওয়েট ভ্যালু, ৭.২ জিবি) এবং একটি আক্রমণাত্মক ১-বিট ভেরিয়েন্ট (৩.৯ জিবি)। আকার এবং সক্ষমতার মধ্যে এই ভারসাম্য বা ট্রেড-অফই এই পরীক্ষার মূল চালিকাশক্তি।

তথ্য মনে রাখার ক্ষেত্রে মডেলগুলোর পারফরম্যান্স কেমন

টেস্টারদের সুইটে মূল Qwen 3.6 ঐতিহাসিক তারিখ সংক্রান্ত প্রতিটি প্রশ্নের সঠিক উত্তর দিয়েছে। টারনারি Bonsai ছয়টির মধ্যে পাঁচটি উত্তর দিতে ব্যর্থ হয়েছে এবং ১-বিট সংস্করণটি প্রতিটি তারিখ সংক্রান্ত প্রশ্নেই ব্যর্থ হয়েছে। প্রত্যাশিতভাবেই, অতিরিক্ত কম্প্রেশন প্রথমে বিরল ও সুনির্দিষ্ট তথ্যগুলো বাদ দিয়ে দেয় এবং শুধুমাত্র ভাষার ব্যাপক প্যাটার্নগুলোকে অক্ষুণ্ণ রাখে যা সাবলীলতা বজায় রাখতে সাহায্য করে।

কোডিং পারফরম্যান্স ভিন্ন গল্প বলছে

যখন প্রম্পটগুলো কোডিং টাস্কে পরিবর্তিত হলো, তখন ফলাফল উল্টে গেল। তিনটি মডেলই কোনো ত্রুটি ছাড়াই ক্লাসিক কনকারেন্সি বাগ (concurrency bugs) সমাধান করেছে। একটি কঠিন React অ্যানিমেশন চ্যালেঞ্জে, ১-বিট Bonsai মাত্র দুই প্রচেষ্টায় কাজ শেষ করেছে, যেখানে মূল মডেলটির চারটি প্রচেষ্টা প্রয়োজন হয়েছিল কারণ এটি কোড পার্সিং করতে অতিরিক্ত সময় নিয়েছিল। টারনারি সংস্করণটির দশটি প্রচেষ্টা প্রয়োজন হয়েছিল এবং শেষ পর্যন্ত এটি টেস্ট সার্ভার ক্র্যাশ করিয়েছিল।

ব্যবহারিক বাধাগুলো

Bonsai জনপ্রিয় Ollama রানটাইমে চলে না। ১-বিট মডেলটির জন্য Prism ML সরবরাহ করা একটি কাস্টম এক্সিকিউশন লেয়ার প্রয়োজন, তাই এটি চালানোর জন্য ব্যবহারকারীদের নন-স্ট্যান্ডার্ড সফটওয়্যার ইনস্টল করতে হবে। এই নির্ভরশীলতার কারণে মডেলটির ব্যবহার মূলত তাদের মধ্যেই সীমাবদ্ধ যারা তাদের এনভায়রনমেন্ট বা পরিবেশ পরিবর্তন করতে স্বাচ্ছন্দ্যবোধ করেন।

কাদের Bonsai ব্যবহার করা উচিত এবং কাদের দূরে থাকা উচিত

  • সাধারণ উদ্দেশ্যে চ্যাট – তথ্যের ব্যাপক ঘাটতির কারণে Bonsai একটি নলেজ-বেস অ্যাসিস্ট্যান্ট হিসেবে অনুপযুক্ত। ইতিহাস, বিজ্ঞান বা সাম্প্রতিক ঘটনার সঠিক উত্তরের জন্য মূল মডেল বা ক্লাউড API ব্যবহার করাই শ্রেয়।
  • লোকাল কোডিং সহকারী – যেসব ডেভেলপার এমন একটি অফলাইন টুল চান যা কোড সাজেস্ট করতে পারে, বাগ ধরতে পারে এবং ফোন বা লো-এন্ড ল্যাপটপে চলতে পারে, তারা ১-বিট সংস্করণে দ্রুত গতি এবং কম স্টোরেজ খরচ পাবেন। এটি কোনো স্বয়ংক্রিয় এজেন্ট নয়, তবে এটি লজিক এবং সিনট্যাক্স দক্ষতার সাথে পরিচালনা করতে পারে।

সারকথা

Bonsai 27B দেখায় যে আপনি একটি ৫৪ জিবি (54 GB) LLM-কে ফোনের উপযোগী ৩.৯ জিবি (3.9 GB)-তে সংকুচিত করতে পারেন এবং তবুও আশ্চর্যজনকভাবে দ্রুত ও দক্ষ কোড সাজেশন পেতে পারেন। এর বিনিময়ে সুনির্দিষ্ট তথ্য মনে রাখার ক্ষমতা প্রায় সম্পূর্ণ হারিয়ে যায়, তাই এই মডেলটি সেইসব ডেভেলপারদের টুলবক্সের জন্য উপযুক্ত যারা বিশ্বকোষীয় জ্ঞানের চেয়ে অফলাইন গতিকে বেশি গুরুত্ব দেন।