এজেন্ট আর্কিটেকচার হলো একটি কম্পিউট অ্যালোকেশন সমস্যা
সম্প্রতি তিনটি স্বতন্ত্র গ্রুপ AI এজেন্ট ডিজাইনের ক্ষেত্রে একই সিদ্ধান্তে পৌঁছেছে।
Anthropic 'advisor strategy'-এর ওপর একটি ব্লগ পোস্ট প্রকাশ করেছে। তারা মেইন লুপ চালানোর জন্য একটি সস্তা মডেল ব্যবহার করে। যখন সস্তা মডেলটি আটকে যায়, কেবল তখনই তারা একটি দামী মডেল ব্যবহার করে। BrowseComp-এ এই সেটআপটি মাত্র ১৫% খরচে ৪১.২% নির্ভুলতা (accuracy) অর্জন করেছে, যেখানে সবকিছু করার জন্য একটি টপ-টিয়ার মডেল ব্যবহার করতে হতো।
Shopify-এর Tobi Lutke X-এ একটি অনুরূপ সেটআপ শেয়ার করেছেন। তিনি গবেষণার জন্য একটি লোকাল মডেল চালান এবং অ্যাডভাইজার হিসেবে একটি frontier model ব্যবহার করেন। ডেভেলপাররা কয়েক ঘণ্টার মধ্যেই এর ওপেন-সোর্স সংস্করণ তৈরি করে ফেলেছেন।
HazyResearch একটি compressor-predictor framework-এর ওপর একটি গবেষণাপত্র প্রকাশ করেছে। একটি ছোট মডেল একটি বড় মডেলের জন্য কনটেক্সট ডিস্টিল (distill) করে যাতে সেটি যুক্তি প্রদান করতে পারে। তাদের সিস্টেমটি মাত্র ২৬% খরচে ৯৯% নির্ভুলতা পুনরুদ্ধার করেছে।
এই মিলটি কোনো কাকতালীয় ঘটনা নয়। এটি একটি নির্দিষ্ট ডিজাইন আইন অনুসরণ করে: cost-curve frame।
আমি এই সিরিজের তিনটি স্তরে এই ফ্রেমটি নিয়ে আলোচনা করেছি:
- লেয়ার ১ (Retrieval): কেন বেশিরভাগ কোড টাস্কের জন্য tool-loops, RAG-কে হারিয়ে দেয়।
- লেয়ার ২ (Storage): কেন symbol graphs-এর জন্য SQLite, vector databases-কে হারিয়ে দেয়।
- লেয়ার ৩ (Orchestration): কেন মডেল নির্বাচনের ক্ষেত্রে advisor strategy জয়ী হয়।
এর লজিক একই। বেশিরভাগ এজেন্ট টাস্ক অনেকগুলো কম-মূল্যের অপারেশন এবং অল্প কিছু উচ্চ-মূল্যের সিদ্ধান্ত নিয়ে গঠিত।
আপনি যদি প্রতিটি টোকেনের জন্য একটি দামী মডেল ব্যবহার করেন, তবে কনটেক্সট পড়া বা টেক্সট ফরম্যাট করার মতো রুটিন কাজের জন্য আপনি টাকা অপচয় করবেন। Advisor strategy এই পথগুলোকে আলাদা করে দেয়। আপনি মূল কাজের জন্য একটি সস্তা executor ব্যবহার করেন এবং শুধুমাত্র গুরুত্বপূর্ণ সিদ্ধান্ত নেওয়ার মুহূর্তগুলোতে একটি দামী advisor ব্যবহার করেন।
আপনি যদি এজেন্ট তৈরি করেন, তবে এই তিনটি ইঞ্জিনিয়ারিং চ্যালেঞ্জের দিকে খেয়াল রাখুন:
- Data Egress: একটি রিমোট advisor-এর কাছে কনটেক্সট পাঠানো সংবেদনশীল ডেটা ফাঁস করতে পারে। একটি redaction layer ব্যবহার করুন।
- Escalation Policy: কখন advisor-কে ডাকতে হবে তা সিদ্ধান্ত নেওয়া কঠিন। খুব দ্রুত ডাকলে টাকা অপচয় হয়, আর খুব দেরিতে ডাকলে সময় অপচয় হয়।
- Handoff Design: advisor-এর উচিত একটি সংক্ষিপ্ত পরিকল্পনা প্রদান করা, সম্পূর্ণ সমাধান নয়।
এই প্যাটার্নটি বাস্তব কারণ এটি দক্ষ। যে টোকেনগুলোর জন্য সেগুলোর প্রয়োজন নেই, সেগুলোর জন্য frontier-model রেটে টাকা দেওয়া বন্ধ করুন।
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi