Meta-র নতুন ওপেন মডেল এখন লোকালি চালানো সম্ভব

Meta ১০ আগস্ট Muse Glimmer প্রকাশ করেছে, যা একটি ৩০-বিলিয়ন প্যারামিটারের ল্যাঙ্গুয়েজ মডেল। এটি একটি সাধারণ কনজিউমার-গ্রেড GPU-তে এজেন্টিক কোডিং এবং পার্সোনাল-অ্যাসিস্ট্যান্ট টাস্ক চালানোর প্রতিশ্রুতি দিচ্ছে। এই দাবিটি গুরুত্বপূর্ণ কারণ এটি ডেভেলপারদের ক্লাউডে ডেটা না পাঠিয়েই লোকালি কী কী চালানো সম্ভব, তার সীমানা বাড়িয়ে দিচ্ছে; যা প্রাইভেসী-কেন্দ্রিক AI অ্যাপ্লিকেশনগুলোর রূপরেখা বদলে দিতে পারে।

কেন এই রিলিজটি গুরুত্বপূর্ণ

ওপেন-সোর্স লার্জ ল্যাঙ্গুয়েজ মডেল (LLMs) এখন কোড অ্যাসিস্ট্যান্ট থেকে শুরু করে পার্সোনাল নলেজ বেস পর্যন্ত 'প্রাইভেট-বাই-ডিজাইন' এজেন্টগুলোকে চালিত করছে। এখন পর্যন্ত, এজেন্ট বেঞ্চমার্কে ভালো পারফর্ম করা বেশিরভাগ মডেলের জন্য সার্ভার-গ্রেড হার্ডওয়্যার প্রয়োজন হতো অথবা সেগুলো প্রোপাইটারি API-এর ওপর নির্ভরশীল ছিল। Muse Glimmer-এর "run anywhere" বা "যেকোনো জায়গায় চালানোর" প্রতিশ্রুতি একটি ৩০B মডেলকে সেইসব শৌখিন ব্যবহারকারী (hobbyists) এবং ছোট টিমের নাগালের মধ্যে নিয়ে এসেছে যাদের কাছে একটি ২৪ GB গ্রাফিক্স কার্ড বা সাম্প্রতিক Apple Silicon Mac রয়েছে। মডেলটি যদি তার দাবির সার্থকতা প্রমাণ করতে পারে, তবে ডেভেলপাররা সমস্ত প্রম্পট এবং আউটপুট ডিভাইসেই রাখতে পারবেন, যা হোস্ট করা সার্ভিসের সাথে যুক্ত ডেটা-এক্সফিল্ট্রেশন (data-exfiltration) ঝুঁকি এড়াতে সাহায্য করবে।

Muse Glimmer আসলে কী

Glimmer হলো Meta-র ক্লোজড-সোর্স Muse Spark লাইনের একটি সংক্ষিপ্ত সংস্করণ। Spark-এর সবচেয়ে শক্তিশালী সংস্করণ, Muse Spark 1.2, এখনও জনসাধারণের জন্য উপলব্ধ নয়, যদিও Meta "কয়েক সপ্তাহের মধ্যে" এটি ওপেন রিলিজ করার ইঙ্গিত দিয়েছে। এই প্রেক্ষাপটটি গুরুত্বপূর্ণ: Glimmer-কে একটি আন-রিলিজড মডেলের প্রিভিউ হিসেবে না দেখে এর নিজস্ব গুণাগুণ দিয়ে মূল্যায়ন করুন।

এর আর্কিটেকচার হলো একটি ডেন্স কজাল ট্রান্সফরমার (dense causal transformer), যা একটি ক্লাসিক ডিজাইন যেখানে প্রতিটি টোকেন একটি সিঙ্গেল ফরওয়ার্ড পাসের মাধ্যমে পরবর্তী টোকেনটি প্রেডিক্ট করে। এই সরলতার কারণে ল্যাপটপে এটি ডিপ্লয় করা সহজ হয়; এতে কোনো mixture-of-experts রাউটিং বা অন্যান্য ভারী কৌশল নেই যা কিছু প্রতিযোগী মডেল ব্যবহার করে থাকে।

একটি উল্লেখযোগ্য সংযোজন হলো DFlash, যা একটি স্পেকুলেটিভ ডিকোডিং টেকনিক যা ভবিষ্যৎ টোকেনগুলো অনুমান করে এবং সেগুলোকে সমান্তরালভাবে (in parallel) যাচাই করে। বাস্তবে, DFlash টেক্সটের গুণমান বজায় রেখে ল্যাটেন্সি কমিয়ে দেয়, যা ইন্টারেক্টিভ এজেন্টদের জন্য একটি দরকারী ফিচার।

কোয়ান্টাইজড ওয়েটস (Quantized weights) মেমরি ফুটপ্রিন্ট কমিয়ে প্রায় ১৭ GB করে দেয়, যার ফলে মডেলটি ২৪ GB VRAM সম্পন্ন GPU-তে চালানো সম্ভব হয়। একই কোয়ান্টাইজড সংস্করণ llama.cpp রানটাইমের মাধ্যমে Apple Silicon-এ চালানো যায়, যা macOS ব্যবহারকারীদের মডেলটি ব্যবহারের একটি নেটিভ পথ করে দেয়।

প্রতিযোগীদের তুলনায় এটি কেমন

Meta, Google-এর Gemma এবং Alibaba-র Qwen-এর বিপরীতে Glimmer-এর বেঞ্চমার্ক পরীক্ষা করেছে। ফলাফলগুলো মিশ্র চিত্র দেখায়:

  • এজেন্ট-ওরিয়েন্টেড টাস্ক – প্ল্যানিং এবং টুল ব্যবহারের পরীক্ষা করা কিছু বেঞ্চমার্কে Glimmer তার উভয় প্রতিদ্বন্দ্বীকে ছাড়িয়ে গেছে।
  • কোডিং এবং ব্রড রিজনিং – Qwen ধারাবাহিকভাবে Glimmer-এর চেয়ে ভালো পারফর্ম করে, কোড জেনারেশন এবং অনেক লজিক্যাল পাজলের ক্ষেত্রে উচ্চতর নির্ভুলতা প্রদান করে।
  • সেফটি মেট্রিক্স – Gemma-তে ভায়োলেশন রেট কম দেখা গেছে, যা নির্দেশ করে যে একই পরীক্ষার শর্তে এটি নিষিদ্ধ কন্টেন্ট তৈরি করার সম্ভাবনা কম।

সংক্ষেপে, Glimmer নির্দিষ্ট কিছু এজেন্ট ওয়ার্কলোডের জন্য প্রতিযোগিতামূলক হলেও এটি কোডিং বা রিজনিংয়ের বৃহত্তর ক্ষেত্রে আধিপত্য বিস্তার করে না।

সেফটি সিগন্যাল এবং সেগুলোর অর্থ কী

Meta, Glimmer-কে পার্সোনাল এজেন্টদের ভিত্তি হিসেবে বাজারজাত করছে যারা ফাইল পড়তে পারে, মেসেজ পাঠাতে পারে এবং ব্যবহারকারীর হয়ে অন্যান্য কাজ করতে পারে। এই ধরনের ক্ষমতা নিরাপত্তার ঝুঁকি বাড়িয়ে দেয়। দুটি অভ্যন্তরীণ মূল্যায়ন মডেলটির রিস্ক প্রোফাইলের ওপর আলোকপাত করে:

  • CI Memories টেস্ট – Gemma-র তুলনায় Glimmer-এ ভায়োলেশন রেট বেশি দেখা গেছে, যার অর্থ এটি নির্ধারিত নিরাপত্তা নিয়ম লঙ্ঘন করে এমন আউটপুট বেশি ঘন ঘন তৈরি করে।
  • Siren AgentDojo অ্যাটাক স্যুট – অনিরাপদ আচরণ উসকে দেওয়ার জন্য ডিজাইন করা অ্যাডভারসারিয়াল প্রম্পটগুলোর ক্ষেত্রে মডেলটি উচ্চতর সাফল্যের হার অর্জন করেছে।

এই ফলাফলগুলো নির্দেশ করে যে, সরাসরি ব্যবহারের ক্ষেত্রে Glimmer তার অন্তত একজন সমকক্ষ মডেলের তুলনায় নিরাপত্তা ত্রুটির প্রতি বেশি প্রবণ। তাই ডেভেলপাররা যদি মডেলটিকে ব্যক্তিগত ফাইল বা যোগাযোগের চ্যানেলে অ্যাক্সেস দেওয়ার পরিকল্পনা করেন, তবে তাদের অবশ্যই এক্সটার্নাল কন্টেন্ট ফিল্টার এবং স্যান্ডবক্সড এক্সিকিউশন এনভায়রনমেন্ট যুক্ত করা উচিত।

কাদের এটি চালানোর কথা ভাবা উচিত

যাদের জন্য এটি উপযুক্ত

  • সেইসব টিম যাদের নেটওয়ার্কের বাইরে থেকে একটি সম্পূর্ণ রিপোজিটরি ইনজেস্ট করতে সক্ষম এমন একটি লোকাল কোড-অ্যাসিস্ট্যান্ট প্রয়োজন।
  • সেইসব ব্যবহারকারী যারা ডেটা রেসিডেন্সি (data residency) বা ডেটা ডিভাইসেই রাখার বিষয়টিকে অগ্রাধিকার দেন এবং এমন একটি LLM চান যা কখনোই তাদের ডিভাইস থেকে বাইরে যাবে না।
  • গবেষক বা ইঞ্জিনিয়ার যারা আউটপুট ব্যাচ-মূল্যায়নের জন্য 'LLM-as-a-judge' খুঁজছেন, যেখানে গতি এবং অন-ডিভাইস এক্সিকিউশন গুরুত্বপূর্ণ।
  • যে কারো কাছে যদি ২৪ GB+ GPU অথবা একটি Apple Silicon Mac থাকে যা llama.cpp চালাতে পারে।

অন্যান্য প্রয়োজনের জন্য আরও ভালো বিকল্প

  • যদি কোডিং পারফরম্যান্সই প্রধান অগ্রাধিকার হয়, তবে Qwen বর্তমানে অধিক নির্ভুলতা প্রদান করে।
  • অত্যন্ত সংবেদনশীল ব্যক্তিগত তথ্য ব্যবহারের ক্ষেত্রে, Gemma-র কম ভায়োলেশন রেট এটিকে একটি নিরাপদ ডিফল্ট হিসেবে প্রতিষ্ঠিত করে।
  • প্রয়োজনীয় হার্ডওয়্যার নেই এমন ডেভেলপারদের উচিত ছোট এবং আরও ব্যাপকভাবে সমর্থিত মডেলগুলোর দিকে নজর দেওয়া যা ২৪ জিবি-র কম মেমরি সম্পন্ন GPU-তে চলতে পারে।

পরবর্তীতে কী লক্ষ্য রাখা উচিত

আগামী সপ্তাহগুলোতে Meta-র একটি ওপেন Muse Spark 1.2 আনার ইঙ্গিত ভারসাম্যের সমীকরণ নাটকীয়ভাবে বদলে দিতে পারে। Spark যদি একই হার্ডওয়্যার ব্যবহারের পাশাপাশি Glimmer-এর পারফরম্যান্সের সমান বা তার চেয়ে বেশি পারফরম্যান্স দিতে পারে, তবে বর্তমান মডেলটি দীর্ঘমেয়াদী সমাধানের পরিবর্তে একটি অন্তর্বর্তী ধাপ হিসেবে বিবেচিত হতে পারে। থার্ড-পার্টি ফিল্টার, ফাইন-টিউনিং বা প্রম্পট ইঞ্জিনিয়ারিংয়ের মাধ্যমে Glimmer-এর নিরাপত্তা সংক্রান্ত ত্রুটিগুলোর প্রতি কমিউনিটির প্রতিক্রিয়াও এর গ্রহণের হারকে প্রভাবিত করবে।

llama.cpp-এর মাধ্যমে মডেলটির তাৎক্ষণিক সহজলভ্যতা মানে হলো ডেভেলপাররা আজ থেকেই পরীক্ষা-নিরীক্ষা শুরু করতে পারেন, তবে ব্যক্তিগত তথ্যের জন্য এটিকে বিশ্বাস করার সিদ্ধান্তটি Meta-র প্রকাশ করা নিরাপত্তা সংক্রান্ত তথ্য এবং স্বতন্ত্র অডিটের ওপর ভিত্তি করে নেওয়া উচিত।

সারকথা: Muse Glimmer ডেস্কটপে একটি 30B LLM নিয়ে এসেছে, যা অন-ডিভাইস এজেন্টদের জন্য নতুন পথ খুলে দিচ্ছে, তবুও এর পারফরম্যান্স এবং নিরাপত্তা শীর্ষস্থানীয় প্রতিযোগীদের তুলনায় পিছিয়ে আছে। যদি লোকাল এক্সিকিউশন অপরিহার্য হয় এবং আপনার কাছে প্রয়োজনীয় হার্ডওয়্যার থাকে তবে এটি ব্যবহার করুন; অন্যথায়, এমন একটি মডেল বেছে নিন যা ইতিমধ্যে কোডিং নির্ভুলতায় পারদর্শী অথবা যার নিরাপত্তা রেকর্ড আরও শক্তিশালী।