ایجنٹ آرکیٹیکچر ایک کمپیوٹ الاکیشن کا مسئلہ ہے
حال ہی میں تین آزاد گروہوں نے AI ایجنٹ ڈیزائن کے لیے ایک ہی نتیجے پر پہنچے ہیں۔
Anthropic نے 'advisor strategy' پر ایک بلاگ پوسٹ جاری کی۔ وہ مین لوپ چلانے کے لیے ایک سستا ماڈل استعمال کرتے ہیں۔ وہ مہنگا ماڈل صرف اس وقت کال کرتے ہیں جب سستا ماڈل پھنس جاتا ہے۔ BrowseComp میں اس سیٹ اپ نے ہر کام کے لیے ٹاپ ٹیر ماڈل استعمال کرنے کے مقابلے میں صرف 15% لاگت پر 41.2% درستگی حاصل کی۔
Shopify کے Tobi Lutke نے X پر اسی طرح کا سیٹ اپ شیئر کیا۔ وہ تحقیق کے لیے ایک لوکل ماڈل چلاتے ہیں اور ایک frontier model کو بطور advisor استعمال کرتے ہیں۔ ڈویلپرز نے چند گھنٹوں کے اندر ہی اس کے اوپن سورس ورژن بنا لیے۔
HazyResearch نے ایک compressor-predictor فریم ورک پر ایک مقالہ شائع کیا۔ ایک چھوٹا ماڈل بڑے ماڈل کے لیے سیاق و سباق (context) کو خلاصہ (distill) کرتا ہے تاکہ وہ اس پر غور کر سکے۔ ان کے سسٹم نے 26% لاگت پر 99% درستگی حاصل کی۔
یہ اتفاق نہیں ہے۔ یہ ایک مخصوص ڈیزائن قانون کی پیروی کرتا ہے: cost-curve frame۔
میں نے اس سیریز میں تین تہوں (layers) کے ذریعے اس فریم پر بحث کی ہے:
- لیئر 1 (Retrieval): کیوں زیادہ تر کوڈ ٹاسک کے لیے tool-loops، RAG سے بہتر ہیں۔
- لیئر 2 (Storage): کیوں symbol graphs کے لیے SQLite، vector databases سے بہتر ہے۔
- لیئر 3 (Orchestration): کیوں ماڈل کے انتخاب کے لیے advisor strategy جیت جاتی ہے۔
منطق ایک ہی ہے۔ زیادہ تر ایجنٹ ٹاسک بہت سے کم اہمیت والے آپریشنز اور چند زیادہ اہمیت والے فیصلوں پر مشتمل ہوتے ہیں۔
اگر آپ ہر ٹوکن کے لیے ایک مہنگا ماڈل استعمال کرتے ہیں، تو آپ سیاق و سباق پڑھنے یا ٹیکسٹ فارمیٹ کرنے جیسے معمول کے کاموں پر پیسہ ضائع کرتے ہیں۔ Advisor strategy ان راستوں کو الگ کر دیتی ہے۔ آپ زیادہ تر کام کے لیے ایک سستا executor استعمال کرتے ہیں اور مہنگا advisor صرف اہم فیصلہ کن مقامات کے لیے استعمال کرتے ہیں۔
اگر آپ ایجنٹس بنا رہے ہیں، تو ان تین انجینئرنگ چیلنجز سے ہوشیار رہیں:
- ڈیٹا ایگریس (Data Egress): سیاق و سباق کو ریموٹ advisor کو بھیجنے سے حساس ڈیٹا لیک ہو سکتا ہے۔ ایک redaction layer استعمال کریں۔
- ایسکلیشن پالیسی (Escalation Policy): یہ فیصلہ کرنا مشکل ہے کہ advisor کو کب کال کیا جائے۔ بہت جلدی کرنے سے پیسہ ضائع ہوتا ہے۔ بہت دیر کرنے سے وقت ضائع ہوتا ہے۔
- ہینڈ آف ڈیزائن (Handoff Design): advisor کو ایک مختصر منصوبہ فراہم کرنا چاہیے، مکمل حل نہیں۔
یہ پیٹرن حقیقی ہے کیونکہ یہ موثر ہے۔ ان ٹوکنز کے لیے frontier-model کی قیمتیں ادا کرنا بند کریں جنہیں ان کی ضرورت نہیں ہے۔
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi