PrismML-এর নতুন Bonsai 27B 1-bit মডেলটি মাত্র ৩.৯ GB ফাইলের মধ্যে এঁটে যায় এবং iPhone 17 Pro Max-এ প্রতি সেকেন্ডে প্রায় ১১টি টোকেন গতিতে চলে, যা প্রমাণ করে যে একটি ২৭-বিলিয়ন-প্যারামিটার বিশিষ্ট ল্যাঙ্গুয়েজ মডেল সাধারণ স্মার্টফোনেও চলতে পারে। এই দাবিটি গুরুত্বপূর্ণ কারণ এটি অন-ডিভাইস AI-এর সীমানা বাড়িয়ে দিচ্ছে, যা ক্লাউডে ডেটা না পাঠিয়েই আরও উন্নত অফলাইন অ্যাসিস্ট্যান্টের প্রতিশ্রুতি দেয়।

কেন এই হ্রাস পাওয়া গুরুত্বপূর্ণ

ফুল-প্রিসিশন Bonsai 27B-এর ওজন ৫৪.৭ GB। মডেলটিকে একটি সিঙ্গেল-বিট রিপ্রেজেন্টেশনে কোয়ান্টাইজ করার মাধ্যমে PrismML এটিকে ৩.৯ GB-তে নামিয়ে এনেছে—যা আকারের প্রায় ১৪ গুণ হ্রাস। এই কম্প্রেশনের ফলে মডেলটি প্রযুক্তিগতভাবে হাই-এন্ড আইফোনে সংরক্ষণ করা সম্ভব হচ্ছে, যা আগে কয়েকশ মেগাবাইটের বেশি কিছুর ক্ষেত্রেই সম্ভব ছিল না।

অ্যাপল হার্ডওয়্যারে মডেলটির পারফরম্যান্স কেমন

PrismML মডেলটি অ্যাপলের MLX স্ট্যাকের জন্য তৈরি করেছে, যা এমন একগুচ্ছ API যা ডেভেলপারদের সরাসরি নিউরাল ইঞ্জিনে নিউরাল নেট চালানো allows করে। নিজস্ব টেস্টিংয়ে দেখা গেছে, iPhone 17 Pro Max-এ মডেলটি প্রতি সেকেন্ডে প্রায় ১১টি টোকেন তৈরি করতে পারে। ১৫টি স্ট্যান্ডার্ড ল্যাঙ্গুয়েজ-মডেল বেঞ্চমার্কে ১-বিট ভার্সনটি মূল মডেলের কোয়ালিটি স্কোরের ৮৯.৫% বজায় রেখেছে, যা নির্দেশ করে যে কম্প্রেশন এর কার্যকারিতাকে ক্ষতিগ্রস্ত করেনি।

আপনি যেসব ব্যবহারিক সীমাবদ্ধতার সম্মুখীন হবেন

  • মেমরি প্রেশার (Memory pressure) – ৩.৯ GB ফাইলটি ফোনে এঁটে গেলেও, সাম্প্রতিক কনটেক্সট বা প্রেক্ষাপট সংরক্ষণের জন্য মডেলটির একটি key-value (KV) ক্যাশ প্রয়োজন। কথোপকথনের দৈর্ঘ্য বাড়ার সাথে সাথে এই ক্যাশ বড় হতে থাকে এবং ফোনের RAM ব্যবহার বাড়িয়ে দিতে পারে, যা সম্ভাব্য গতি কমিয়ে দিতে পারে।
  • তাপ এবং ব্যাটারি – একটি ২৭-বিলিয়ন-প্যারামিটার নেটওয়ার্ক চালানো নিউরাল ইঞ্জিনের ওপর অতিরিক্ত চাপ সৃষ্টি করে। দীর্ঘক্ষণ লোড চললে ফোন গরম হয়ে যাওয়ার প্রবণতা থাকে এবং হার্ডওয়্যার সুরক্ষার জন্য অ্যাপলের থার্মাল ম্যানেজমেন্ট পারফরম্যান্স কমিয়ে দিতে পারে। PrismML ব্যাটারি ড্রেনের কোনো সুনির্দিষ্ট তথ্য প্রকাশ করেনি, তাই সারাদিনের ব্যবহারের ক্ষেত্রে এর প্রকৃত প্রভাব এখনও অজানা।
  • ডিভাইস স্পেসিফিসিটি – পারফরম্যান্সের এই দাবিটি সর্বশেষ iPhone 17 Pro Max-এর জন্য প্রযোজ্য। পুরোনো আইফোন, নিম্নস্তরের iOS ডিভাইস বা অ্যান্ড্রয়েড ফোনে একই ধরনের নিউরাল-ইঞ্জিন সক্ষমতা নেই, ফলে সেখানে ইনফারেন্স (inference) ধীর হবে অথবা মডেলটি একেবারেই চলতে পারবে না।

কারা লাভবান হবে এবং কারা পিছিয়ে পড়তে পারে

প্রাইভেসি-ফাস্ট অ্যাপ ডেভেলপাররা এখন অন-ডিভাইসে একটি লার্জ ল্যাঙ্গুয়েজ মডেল হোস্ট করতে পারবেন, যার ফলে ব্যবহারকারীর ডেটা ফোনের মধ্যেই থাকবে। এর ফলে ক্লাউড সাবস্ক্রিপশন ছাড়াই আরও রেসপন্সিভ ভয়েস অ্যাসিস্ট্যান্ট, অফলাইন অনুবাদ বা কনটেক্সচুয়াল টেক্সট জেনারেশন সম্ভব হতে পারে।

অ্যান্ড্রয়েড প্রস্তুতকারক এবং মিড-রেঞ্জ ফোনের ব্যবহারকারীরা এতে বঞ্চিত হবেন। মডেলটি অ্যাপলের প্রোপাইটারি স্ট্যাকের ওপর নির্ভরশীল, তাই একই কম্প্রেশন পদ্ধতি অন্যান্য ইকোসিস্টেমে স্বয়ংক্রিয়ভাবে কাজ করবে না।

যা যা পরীক্ষা করা বাকি আছে

PrismML-এর এই সংখ্যাগুলো তাদের অভ্যন্তরীণ বেঞ্চমার্ক থেকে এসেছে। স্বতন্ত্র পরীক্ষকদের দীর্ঘ সময় ধরে টোকেন-প্রতি-সেকেন্ডের হার যাচাই করা, প্রকৃত ব্যাটারি খরচ পরিমাপ করা এবং KV ক্যাশ বাড়ার সাথে সাথে পারফরম্যান্স কতটা দ্রুত হ্রাস পায় তা মূল্যায়ন করা প্রয়োজন। বাস্তব জীবনের ব্যবহার—যেমন এক ঘণ্টা চ্যাট করা, কন্টেন্ট স্ট্রিমিং করা বা অন্যান্য অ্যাপের পাশাপাশি মডেলটি চালানো—তা প্রকাশ করবে যে নিয়ন্ত্রিত ল্যাবের বাইরে ১১-টোকেন-প্রতি-সেকেন্ডের এই হার বজায় থাকে কি না।

সারসংক্ষেপ

Bonsai 27B দেখায় যে ২৭-বিলিয়ন-প্যারামিটার বিশিষ্ট ল্যাঙ্গুয়েজ মডেলগুলোকে যথেষ্ট পরিমাণে সংকুচিত করা সম্ভব যাতে সেগুলো একটি ফ্ল্যাগশিপ আইফোনে চলতে পারে এবং মাঝারি গতিতে প্রায় পূর্ণাঙ্গ কোয়ালিটি প্রদান করতে পারে। এই যুগান্তকারী সাফল্যটি অ্যাপলের MLX স্ট্যাকের ওপর নির্ভরশীল এবং এটি এখনও কিছু ব্যবহারিক বাধার সম্মুখীন: মেমরি ওভারহেড, থার্মাল থ্রটলিং এবং অজানা ব্যাটারি প্রভাব। যদি পরবর্তী পরীক্ষাগুলো এই দাবিগুলো নিশ্চিত করে, তবে অন-ডিভাইস AI নিস ডেমো থেকে দৈনন্দিন অ্যাপে রূপান্তরিত হতে পারে—যদি আইওএস ফ্ল্যাগশিপ এবং বাকি বাজারের মধ্যে হার্ডওয়্যারের ব্যবধান কমে আসে।