𝗬𝗼𝘂𝗿 𝗔𝗴𝗲𝗻𝘁 𝗖𝗵𝗲𝗰𝗸𝗲𝗱 𝗘𝘃𝗲𝗿𝘆𝘁𝗵𝗶𝗻𝗴. 𝗜𝘁 𝗪𝗮𝘀 𝗦𝘁𝗶𝗹𝗹 𝗪𝗿𝗼𝗻𝗴.
میں ایک ملٹی ایجنٹ ورک فلو (multi-agent workflow) چلاتا ہوں۔ ایک ماڈل ڈیزائن کرتا ہے۔ ایک کوڈ لکھتا ہے۔ ایک اس کا جائزہ لیتا ہے۔ میں حتمی نتیجے کی منظوری دیتا ہوں۔
حال ہی میں، تین ناکامیاں اس پائپ لائن سے گزر گئیں۔ ہر ایجنٹ نے اپنا کام مکمل طور پر انجام دیا۔ سسٹم مستقل مزاج تھا، لیکن وہ مستقل طور پر غلط تھا۔
یہ ذہانت کا مسئلہ نہیں ہے۔ یہ حدود (boundary) کا مسئلہ ہے۔ ایک ایجنٹ بالکل وہی کرتا ہے جو آپ اسے فراہم کردہ سیاق و سباق (context) کے اندر کرنے کو کہتے ہیں۔ وہ خود سے تصدیق کے لیے نئی چیزیں تلاش نہیں کرے گا۔
یہاں حقیقی دنیا کی تین ناکامیاں اور انہیں ٹھیک کرنے کے طریقے دیے گئے ہیں:
- کامیابی کے پیچھے چھپی ناکامی ایک ETL پائپ لائن نے API سے ڈیٹا نکالا۔ API کا سیشن ختم ہو گیا۔ ایرر کوڈ (error code) دینے کے بجائے، API نے JSON کے اندر ایک ایرر میسج کے ساتھ HTTP 200 واپس کیا۔ ایجنٹ نے ایرر کوڈ چیک کیا، کوئی نہیں ملا، اور یہ فرض کر لیا کہ ڈیٹا درست ہے۔
- حل: سیمنٹک ویلیڈیشن (semantic validation) کا استعمال کریں۔ صرف یہ نہ دیکھیں کہ کال کامیاب رہی یا نہیں۔ یہ چیک کریں کہ واپس آیا ہوا ڈیٹا مطلوبہ ڈھانچے (structure) اور روز کاؤنٹ (row count) سے مطابقت رکھتا ہے یا نہیں۔
- غائب آرٹفیکٹس (Missing artifacts) ایک کوڈ جنریٹر نے ایک چپ کے لیے C فائلیں تیار کیں۔ ریویو کرنے والے نے تصدیق کی کہ کوڈ درست تھا۔ تاہم، جنریٹر نے مطلوبہ ویجیٹ ٹیبل فائل (widget table file) کبھی نہیں بنائی۔ ریویو کرنے والے نے موجودہ فائلوں کو تو چیک کیا لیکن غائب فائلوں کو چیک نہیں کیا۔
- حل: آؤٹ پٹ کی تکمیل کی تصدیق کریں۔ ہمیشہ پہلے مطلوبہ فائلوں کی فہرست بنائیں۔ اگلے مرحلے پر جانے سے پہلے اس بات کی تصدیق کریں کہ ہر فائل موجود ہے اور خالی نہیں ہے۔
- غلط تکنیکی دعوے ایک SDK فولڈر کا دعویٰ تھا کہ وہ RISC-V چپ کے لیے ہے، لیکن ہیڈر کمنٹس (header comments) میں کہا گیا تھا کہ یہ CSKY پروسیسر کے لیے ہے۔ ایجنٹ نے فولڈر کے نام اور کمنٹس پر بھروسہ کیا۔ اس نے اصل مشین انسٹرکشنز (machine instructions) کو نظر انداز کر دیا جو اس بات کا ثبوت تھیں کہ دعویٰ غلط تھا۔
- حل: گراؤنڈ ٹروتھ ویریفیکیشن (ground-truth verification) کا استعمال کریں۔ اگر کوئی فائل کوئی دعویٰ کرتی ہے، تو اس دعوے کو کمانڈ کے ذریعے ٹیسٹ کریں۔ کمنٹس یا ڈائریکٹری کے ناموں پر بھروسہ نہ کریں۔ خام ڈیٹا (raw data) پر بھروسہ کریں۔
ایجنٹ صرف وہی تصدیق کریں گے جو آپ انہیں کرنے کو کہیں گے۔ وہ یہ نہیں پوچھیں گے، "مزید کیا غلط ہو سکتا ہے؟"
آپ کو حدود (boundaries) ڈیزائن کرنی ہوں گی۔ آپ کو اپنے ورک فلو کے کناروں پر ویریفیکیشن چیک پوائنٹس بنانے ہوں گے۔
Source: https://dev.to/antonio_zhu_e726fd856cd86/your-agent-checked-everything-it-was-still-wrong-18kd
Optional learning community: https://t.me/GyaanSetuAi