Moonshot AI ২৭ জুলাই, ২০২৬ তারিখে ২.৮ ট্রিলিয়ন প্যারামিটারের Kimi K3 মডেলটি প্রকাশ করেছে, যেখানে ৯৬টি শার্ডে (shards) ১.৫৬ TB ওয়েট (weights) প্রকাশ করা হয়েছে এবং ব্যবহারকারীদের অন্তত ৬৪টি অ্যাক্সিলারেটর বিশিষ্ট “supernode” ক্লাস্টারে এটি চালানোর জন্য অনুরোধ জানানো হয়েছে। এই প্রকাশটি গুরুত্বপূর্ণ কারণ এটি সেই সব সংস্থাগুলোর নাগালের মধ্যে একটি অত্যাধুনিক LLM নিয়ে এসেছে যারা হার্ডওয়্যার কেনার সামর্থ্য রাখে, তবে একটি সাধারণ ওয়ার্কস্টেশন বা একটি সিঙ্গেল GPU এতে যথেষ্ট হবে না।

কেন হার্ডওয়্যার গুরুত্বপূর্ণ

Kimi K3-এর বিশাল স্কেল প্রতিটি ডাউনস্ট্রিম প্রয়োজনীয়তাকে প্রভাবিত করে। মডেলটির একটিভ-প্যারামিটার সংখ্যা—প্রতি টোকেনে ১০৪ বিলিয়ন—এর মানে হলো প্রতিটি টোকেন নেটওয়ার্কের একটি বিশাল অংশকে স্পর্শ করে। এর কনটেক্সট উইন্ডো (context window) ১,০৪৮,৫৭৬ টোকেন পর্যন্ত বিস্তৃত, যা কেবল একটি বিশাল KV (key-value) ক্যাশ দিয়েই সমর্থন করা সম্ভব। ওয়েট ফাইলগুলো ১.৫৬ TB জায়গা দখল করে, তবে এই সংখ্যাটিতে রানটাইম, অ্যাক্টিভেশন স্টোরেজ এবং KV ক্যাশের জন্য প্রয়োজনীয় VRAM অন্তর্ভুক্ত নেই। বাস্তবে, যে ডিপ্লয়মেন্ট ১-মিলিয়ন-টোকেন উইন্ডোটি সম্পূর্ণ ব্যবহার করতে চায়, তা প্রচুর মেমরি ওভারহেড (memory overhead) যোগ করে।

ডিপ্লয়মেন্ট-পূর্ব তিনটি পরীক্ষা

১. স্টোরেজ পরীক্ষা

শার্ডগুলো ডাউনলোড করার আগে, নিশ্চিত করুন যে আপনার পর্যাপ্ত ডিস্ক স্পেস আছে এবং স্টোরেজ সাবসিস্টেমটি উচ্চ-থ্রুপুট রিড (high-throughput reads) বজায় রাখতে সক্ষম। যদি ৯৬টি শার্ড ধীরগতির স্টোরেজে থাকে, তবে মডেলটি তার বেশিরভাগ সময় ডেটার জন্য অপেক্ষা করতেই ব্যয় করবে।

২. হার্ডওয়্যার পরীক্ষা

Moonshot-এর টেকনিক্যাল রিপোর্টে অন্তত ৬৪টি বা তার বেশি অ্যাক্সিলারেটরের একটি ক্লাস্টারের সুপারিশ করা হয়েছে। একটি সিঙ্গেল GPU, এমনকি সেটি টপ-টিয়ার পর্যায়ের হলেও, মডেলের ওয়েট এবং রানটাইম বাফারগুলো ধারণ করতে পারবে না।

৩. রানটাইম পরীক্ষা

মডেলটি vLLM, SGLang, বা TokenSpeed-এর মতো বিশেষায়িত ইনফারেন্স ইঞ্জিনে চলে। প্রতিটি ইঞ্জিন MXFP4-ফরম্যাটে ওয়েট লোড করা, KV ক্যাশ বরাদ্দ করা এবং টেনসর অপারেশন শিডিউল করার জন্য একটি নির্দিষ্ট পদ্ধতি প্রদান করে। একটি ইঞ্জিন বেছে নিন, তার গাইডটি হুবহু অনুসরণ করুন এবং বিভিন্ন রানটাইমের কম্পোনেন্ট মিশ্রিত করা থেকে বিরত থাকুন।

ব্যবহারিক চেকলিস্ট

  • ডাউনলোড যাচাই করুন – ৯৬টি শার্ড সংগ্রহের পর, প্রদত্ত checksum বা hash স্ক্রিপ্টটি চালান। ত্রুটিপূর্ণ শার্ড পরবর্তীতে নিঃশব্দে ব্যর্থতা (silent failures) ঘটাতে পারে।
  • লাইসেন্স পড়ুন – Kimi K3 লাইসেন্সে ব্যবহারের সীমাবদ্ধতা এবং অ্যাট্রিবিউশন (attribution) সংক্রান্ত প্রয়োজনীয়তা রয়েছে যা অনলাইনে পাওয়া সংক্ষিপ্ত সারসংক্ষেপ থেকে ভিন্ন হতে পারে। এটি অবহেলা করলে আপনি আইনি ঝুঁকির সম্মুখীন হতে পারেন।
  • টপোলজি ম্যাপ করুন – প্রতিটি অ্যাক্সিলারেটর, প্রতিটি ইন্টারকানেক্টের ব্যান্ডউইথ এবং হোস্ট RAM-এর পরিমাণ তালিকাভুক্ত করুন। এই ম্যাপটি আপনাকে নির্দেশ দেবে কীভাবে ডিভাইসগুলোর মধ্যে মডেলটিকে পার্টিশন করতে হবে।
  • কনটেক্সট লেন্থ দিয়ে ছোট আকারে শুরু করুন – প্রথমে ৩২ K, তারপর ১২৮ K এবং সবশেষে ২৫৬ K টোকেন উইন্ডো দিয়ে পরীক্ষা করুন। এই ধাপগুলো পার হওয়ার পরেই কেবল ১ M-টোকেন উইন্ডোটি চেষ্টা করা উচিত; প্রতিটি ধাপ মেমরি প্রেশার বহুগুণ বাড়িয়ে দেয়।
  • ব্যর্থতা সিমুলেট করুন – একটি টেস্ট রানের সময় একটি অ্যাক্সিলারেটর বিচ্ছিন্ন করুন বা একটি শার্ড ত্রুটিপূর্ণ করে ফেলুন। যাচাই করুন যে আপনার অর্কেস্ট্রেশন লেয়ার ত্রুটিটি শনাক্ত করতে পারে, অনুপস্থিত অংশটি পুনরায় লোড করতে পারে এবং সার্ভিসটি সচল রাখতে পারে।
  • ফলব্যাক (fallback) পরিকল্পনা করুন – হোস্ট করা Kimi K3 API ক্রেডেনশিয়ালগুলো হাতের কাছে রাখুন। যদি আপনার ক্লাস্টার ডাউন হয়ে যায়, তবে ক্লায়েন্ট অ্যাপ্লিকেশনগুলো অচল না করেই আপনি ট্রাফিক ক্লাউড এন্ডপয়েন্টে সরিয়ে নিতে পারবেন।

কখন সেলফ-হোস্টিং করা যুক্তিসঙ্গত

আপনি যদি ইতিমধ্যে একটি মাল্টি-অ্যাক্সিলারেটর ক্লাস্টার পরিচালনা করেন, তবেই সেলফ-হোস্ট করুন।

পরবর্তী বিষয় যা খেয়াল রাখতে হবে

  • কমিউনিটি সাপোর্ট – Kimi K3 নিয়ে একটি ক্রমবর্ধমান টেলিগ্রাম কমিউনিটি রয়েছে যারা বেঞ্চমার্ক ফলাফল এবং ট্রাবলশুটিং টিপস শেয়ার করে; সেই আলোচনাগুলো দেখলে আপনি ব্যবহারিক শর্টকাট খুঁজে পেতে পারেন।

সারসংক্ষেপ

Kimi K3 শক্তিশালী কিন্তু এটি অনেক বেশি রিসোর্স দাবি করে। সফল সেলফ-হোস্টিং তিনটি অপরিহার্য বিষয়ের ওপর নির্ভর করে: টেরাবাইট স্কেলের দ্রুত স্টোরেজ, উচ্চ-গতির লিঙ্কসহ একটি ৬৪+ অ্যাক্সিলারেটর ক্লাস্টার এবং একটি সুপরিচালিত (well-documented) ইনফারেন্স ইঞ্জিন। এগুলো ছাড়া সবচেয়ে নিরাপদ উপায় হলো Moonshot-এর হোস্ট করা সার্ভিস ব্যবহার করা। যেসব সংস্থার কাছে ইতিমধ্যে হার্ডওয়্যার রয়েছে, তাদের জন্য উপরের চেকলিস্টটি অনুসরণ করলে একটি কঠিন ডাউনলোড প্রক্রিয়াকে একটি সহজ ও প্রোডাকশন-রেডি ডিপ্লয়মেন্টে রূপান্তর করা সম্ভব।