ایک ایجنٹ ہارنس کی ساخت
آپ نے ایک چیٹ بوٹ بنایا۔ آپ نے چند ٹولز اور ایک سادہ لوپ شامل کیا۔ یہ ڈیمو کے لیے تو ٹھیک کام کرتا ہے۔ پھر جب آپ اسے پروڈکشن میں لے جانے کی کوشش کرتے ہیں تو سب کچھ بگڑ جاتا ہے۔
ماڈل پچھلے مراحل بھول جاتا ہے۔ ٹول کالز بغیر کسی وارننگ کے فیل ہو جاتی ہیں۔ کانٹیکسٹ ونڈو (context window) فضول ڈیٹا سے بھر جاتی ہے۔
مسئلہ آپ کا ماڈل نہیں ہے۔ مسئلہ اس کے گرد موجود انفراسٹرکچر کا ہے۔
اس انفراسٹرکچر کو ایجنٹ ہارنس (agent harness) کہا جاتا ہے۔
ایجنٹ رویہ ہے۔ ہارنس مشینری ہے۔ اگر آپ ماڈل نہیں ہیں، تو آپ ہارنس ہیں۔
ایک خام LLM کو CPU کے طور پر سوچیں۔ اس میں نہ RAM ہے، نہ ڈسک، اور نہ ہی I/O۔ ہارنس آپریٹنگ سسٹم ہے۔ یہ ماڈل کو مفید بنانے کے لیے میموری، ٹولز اور لاجک فراہم کرتا ہے۔
پروڈکشن گریڈ ہارنس کے بارہ بنیادی اجزاء ہوتے ہیں:
• Orchestration Loop: یہ دل کی دھڑکن کی طرح ہے۔ یہ Thought-Action-Observation سائیکل کو مینیج کرتا ہے۔ • Tool Layer: یہ ہاتھ ہیں۔ ہارنس ٹول رجسٹریشن، ویلیڈیشن اور ایگزیکیوشن کو سنبھالتا ہے۔ • Memory: اس میں شارٹ ٹرم ہسٹری اور مختلف سیشنز کے دوران لانگ ٹرم پرسٹنس (long-term persistence) شامل ہے۔ • Context Management: یہ ڈیٹا کو کمپیکٹ یا خلاصہ کر کے کانٹیکسٹ کے خراب ہونے (context rot) کو روکتا ہے۔ • Prompt Assembly: یہ وہ درست ان پٹ تیار کرتا ہے جو ماڈل ہر مرحلے پر دیکھتا ہے۔ • Output Classification: یہ فیصلہ کرتا ہے کہ ماڈل بات کرنا چاہتا ہے یا کوئی ٹول استعمال کرنا چاہتا ہے۔ • State Management: یہ ایجنٹ کو کسی غلطی یا مداخلت کے بعد کام دوبارہ شروع کرنے کی اجازت دیتا ہے۔ • Error Handling: یہ ناکامیوں کو پکڑتا ہے تاکہ غلطیاں بڑھتی نہ جائیں۔ • Guardrails: یہ غیر محفوظ یا غلط اقدامات کو روکنے کے لیے ٹرپ وائرز (tripwires) کے طور پر کام کرتے ہیں۔ • Permission Enforcement: یہ اس بات کو الگ کرتا ہے کہ ماڈل کیا کرنا چاہتا ہے اور اسے کیا کرنے کی اجازت ہے۔ • Verification Loops: یہ ماڈل کو معیار بہتر بنانے کے لیے اپنے کام کو خود چیک کرنے کی اجازت دیتا ہے۔ • Agent Handoffs: یہ مینیج کرتا ہے کہ ایک ایجنٹ دوسرے ایجنٹ کو کام کیسے منتقل کرتا ہے۔
اچھی انجینئرنگ کا مقصد ہارنس کو جتنا ممکن ہو سکے ہلکا (thin) رکھنا ہے۔ جیسے جیسے ماڈلز زیادہ ذہین ہوتے جائیں گے، آپ کو کم اسکیفولڈنگ (scaffolding) کی ضرورت ہوگی۔
جب آپ کا ایجنٹ ناکام ہو، تو ماڈل کو موردِ الزام نہ ٹھہرائیں۔ اپنے ہارنس کو دیکھیں۔
Source: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j
Optional learning community: https://t.me/GyaanSetuAi