প্যান্ডোরার AI মডেল রাউটিং বক্স (Pandora's AI Model Routing Box)
DeepMind-এর নতুন একটি গবেষণাপত্র "Pandora’s Box" ফ্রেমওয়ার্ক প্রস্তাব করেছে যা কাজের পারফরম্যান্স অপরিবর্তিত রেখে রাউটিং ওভারহেড ৭০% পর্যন্ত কমিয়ে আনে।
কেন রাউটিং খরচ গুরুত্বপূর্ণ
যখন একটি সার্ভিস কোনো রিকোয়েস্ট পায়, তখন তার কাছে প্রায়ই বিভিন্ন মডেলের একটি তালিকা থাকে—যার কিছু দ্রুত কিন্তু সাধারণ মানের, আবার কিছু ধীরগতির কিন্তু নিখুঁত। সেরাটি বেছে নিতে কম্পিউটেশনাল ক্ষমতা এবং অর্থের প্রয়োজন হয়। কোন মডেলটি উপযুক্ত তা জানার আগে আপনাকে একটি দ্রুত পরীক্ষা চালাতে হয়, বাহ্যিক ডেটা সংগ্রহ করতে হয় অথবা কোনো হেল্পার টুল ব্যবহার করতে হয়।
প্যান্ডোরার বক্স অ্যানালজি (The Pandora’s Box analogy)
DeepMind রাউটিং সমস্যাটিকে ক্লাসিক "Pandora’s Box" ধাঁধার সাথে তুলনা করেছে: প্রতিটি মডেল হলো একটি সিল করা বাক্স যা বর্তমান কুয়েরির ওপর তার পারফরম্যান্স লুকিয়ে রাখে। একটি বাক্স খুলতে সম্পদ বা রিসোর্স খরচ হয়, তাই সম্ভাব্য লাভ সেই খরচের তুলনায় যুক্তিযুক্ত কি না তা আপনাকে সিদ্ধান্ত নিতে হবে। এই ফ্রেমওয়ার্কটি এই ভারসাম্য (trade-off) কে একটি আনুষ্ঠানিক রূপ দেয় এবং দুটি সুনির্দিষ্ট মেকানিজম প্রদান করে।
Pandora’s Router – একটি কেন্দ্রীয় সিদ্ধান্ত গ্রহণকারী
রাউটারটি প্রথমে একটি মডেলের সম্ভাব্যতা যাচাই করার জন্য একটি সস্তা এবং কিছুটা অনির্ভরযোগ্য (noisy) এস্টিমেটর চালায়। শুধুমাত্র যদি বর্তমান সেরা মডেলের তুলনায় প্রত্যাশিত উন্নতি একটি পূর্বনির্ধারিত "reservation price"-এর চেয়ে বেশি হয়, তবেই এটি আরও নির্ভুল মূল্যায়নের জন্য খরচ করে। প্রতিটি মডেল পরীক্ষা করতে অস্বীকার করার মাধ্যমে, রাউটারটি সেরা বিকল্পটি খুঁজে বের করার পাশাপাশি পরিদর্শন বা ইন্সপেকশন বাজেট অনেক কমিয়ে দেয়।
Pandora’s Bidder – একটি বিকেন্দ্রীকৃত বাজার
বিডার (bidder) সংস্করণে, প্রতিটি মডেল প্রোভাইডার সিদ্ধান্ত নেয় যে তারা একটি সেলফ-অ্যাসেসমেন্টের জন্য টাকা খরচ করবে কি না, যা তাদের একটি চুক্তি জিততে সাহায্য করতে পারে। প্রোভাইডাররা কেবল তখনই বিড জমা দেয় যখন তারা আশা করে যে মূল্যায়নের খরচটি জেতার সম্ভাবনার তুলনায় কম হবে। এটি এমন একটি বাজার তৈরি করে যেখানে ব্যয়বহুল মূল্যায়ন কেবল তখনই ঘটে যখন তার প্রতিদান বা পে-অফ যথেষ্ট বেশি হয়।
তিনটি ডোমেইনে ফলাফল
লেখকরা উভয় মেকানিজম পরীক্ষা করেছেন নিচের ক্ষেত্রগুলোতে:
- Math reasoning – যে মডেলটি সবচেয়ে নির্ভুলভাবে একটি সমস্যা সমাধান করে সেটি নির্বাচন করা।
- Retrieval-augmented generation (RAG) – একটি ল্যাঙ্গুয়েজ মডেল উত্তর তৈরি করার আগে যে রিট্রিভাল সিস্টেমটি সবচেয়ে প্রাসঙ্গিক কনটেক্সট সরবরাহ করে সেটি বেছে নেওয়া।
- Large-scale embedding selection – সিমিলারিটি সার্চের জন্য যে এনকোডারটি সেরা ভেক্টর রিপ্রেজেন্টেশন প্রদান করে সেটি নির্বাচন করা।
প্রতিটি ক্ষেত্রেই, Pandora’s Router সর্বনিম্ন সম্মিলিত 'cost-plus-error' মেট্রিক রেকর্ড করেছে, যা সেই বেসলাইনগুলোকে ছাড়িয়ে গেছে যেগুলি হয় সবসময় প্রতিটি মডেল পরীক্ষা করে অথবা কখনোই পরীক্ষা করে না। সিস্টেমটি স্বয়ংক্রিয়ভাবে মানিয়ে নেয়: যখন ইন্সপেকশন খরচ বাড়ে, তখন এটি কম মডেল পরীক্ষা করে; যখন খরচ কমে, তখন এটি আরও নিবিড়ভাবে পরীক্ষা করে। রাউটিং খরচের ৩০% থেকে ৭০% পর্যন্ত সাশ্রয় হয়েছে বলে জানানো হয়েছে, এবং এর ফলে কাজের গুণমান বা ডাউনস্ট্রিম টাস্ক কোয়ালিটিতে কোনো দৃশ্যমান পতন ঘটেনি।
মূল কথা (Takeaway): ইনফারেন্স বাজেট যখন বাড়তে থাকে, তখন একটি উন্নত মডেল খোঁজার জন্য পরীক্ষা করা কখন বন্ধ করতে হবে তা সিদ্ধান্ত নেওয়া মডেল নির্বাচনের মতোই গুরুত্বপূর্ণ হয়ে ওঠে। Pandora’s Box একটি লুকানো খরচকে একটি নিয়ন্ত্রণযোগ্য হাতিয়ারে পরিণত করে।