Pandora's AI Model Routing Box
DeepMind کا نیا مقالہ ایک "Pandora’s Box" فریم ورک تجویز کرتا ہے جو ٹاسک کی کارکردگی کو غیر تبدیل شدہ رکھتے ہوئے روٹنگ کے اخراجات (overhead) کو 70% تک کم کر دیتا ہے۔
روٹنگ کے اخراجات کیوں اہم ہیں
جب کسی سروس کو کوئی درخواست ملتی ہے، تو اس کے پاس اکثر ماڈلز کی ایک فہرست ہوتی ہے—کچھ تیز لیکن غیر درست، جبکہ کچھ سست لیکن درست۔ بہترین ماڈل کا انتخاب کرنے کے لیے کمپیوٹنگ اور رقم دونوں خرچ ہوتے ہیں۔ اس سے پہلے کہ آپ کو معلوم ہو کہ کون سا ماڈل موزوں ہے، آپ کو ایک فوری ٹیسٹ کرنا پڑتا ہے، بیرونی ڈیٹا حاصل کرنا پڑتا ہے، یا کسی مددگار ٹول کا استعمال کرنا پڑتا ہے۔
Pandora’s Box کی مثال
DeepMind روٹنگ کے مسئلے کو کلاسک Pandora’s Box پہیلی سے جوڑتا ہے: ہر ماڈل ایک بند باکس ہے جو موجودہ سوال پر اپنی کارکردگی کو چھپائے ہوئے ہے۔ ایک باکس کھولنے سے وسائل خرچ ہوتے ہیں، اس لیے آپ کو یہ فیصلہ کرنا ہوتا ہے کہ کیا ممکنہ فائدہ اس خرچ کے قابل ہے یا نہیں۔ یہ فریم ورک اس توازن (trade-off) کو باقاعدہ شکل دیتا ہے اور دو ٹھوس میکانزم فراہم کرتا ہے۔
Pandora’s Router – ایک مرکزی فیصلہ ساز
روٹر پہلے ماڈل کی صلاحیت کا اندازہ لگانے کے لیے ایک سستا اور غیر درست (noisy) تخمینہ لگاتا ہے۔ صرف اس صورت میں جب موجودہ بہترین ماڈل کے مقابلے میں متوقع بہتری ایک پہلے سے طے شدہ "reservation price" سے زیادہ ہو، تو یہ زیادہ درست تشخیص کے لیے ادائیگی کرتا ہے۔ ہر ماڈل کا معائنہ کرنے سے انکار کر کے، روٹر معائنہ کے بجٹ کو کم کر دیتا ہے اور پھر بھی بہترین کارکردگی والا آپشن سامنے لاتا ہے۔
Pandora’s Bidder – ایک غیر مرکزی مارکیٹ پلیس
Bidder ورژن میں، ہر ماڈل فراہم کنندہ یہ فیصلہ کرتا ہے کہ آیا وہ خود کی تشخیص (self-assessment) پر رقم خرچ کرے گا جو اسے کنٹریکٹ دلوا سکتی ہے۔ فراہم کنندگان صرف اسی وقت بولی (bid) جمع کرواتے ہیں جب انہیں توقع ہو کہ جیت کے امکانات کے سامنے تشخیص کی لاگت کم ہوگی۔ یہ ایک ایسی مارکیٹ تخلیق کرتا ہے جہاں مہنگی تشخیص صرف اسی وقت ہوتی ہے جب فائدہ کافی زیادہ ہو۔
تین شعبوں میں نتائج
مصنفین نے دونوں میکانزم کا تجربہ ان شعبوں میں کیا:
- Math reasoning – اس ماڈل کا انتخاب کرنا جو کسی مسئلے کو سب سے درست طریقے سے حل کرے۔
- Retrieval-augmented generation (RAG) – اس ریٹریول سسٹم کا انتخاب کرنا جو لینگویج ماڈل کے جواب تیار کرنے سے پہلے سب سے زیادہ متعلقہ سیاق و سباق (context) فراہم کرے۔
- Large-scale embedding selection – اس انکوڈر کا انتخاب کرنا جو مماثلت کی تلاش (similarity search) کے لیے بہترین ویکٹر نمائندگی فراہم کرے۔
ہر صورت میں، Pandora’s Router نے کم ترین مجموعی لاگت اور غلطی (cost-plus-error) کا پیمانہ ریکارڈ کیا، اور ان بیس لائنز کو پیچھے چھوڑ دیا جو یا تو ہمیشہ ہر ماڈل کا معائنہ کرتی ہیں یا کبھی نہیں کرتیں۔ یہ سسٹم خود بخود ڈھل جاتا ہے: جب معائنہ کے اخراجات بڑھتے ہیں، تو یہ کم ماڈلز کا معائنہ کرتا ہے؛ جب اخراجات کم ہوتے ہیں، تو یہ جانچ پڑتال بڑھا دیتا ہے۔ روٹنگ کے اخراجات میں 30% سے 70% تک کی بچت رپورٹ کی گئی ہے، جبکہ ٹاسک کے معیار میں کوئی قابلِ پیمائش کمی نہیں آئی۔
Takeaway: جیسے جیسے انفرنس (inference) کے بجٹ بڑھ رہے ہیں، یہ فیصلہ کرنا کہ بہتر ماڈل کے لیے تلاش کب روکنی ہے، خود ماڈل کے انتخاب جتنا ہی اہم ہو گیا ہے۔ Pandora’s Box ایک پوشیدہ خرچے کو ایک قابلِ کنٹرول لیور (lever) میں بدل دیتا ہے۔