عملی طور پر AI ایجنٹس: ٹریس (Trace) سے ناکامیوں کا مطالعہ

آپ کا AI ایجنٹ کریش نہیں ہوتا۔ وہ کامیابی کی رپورٹ دیتا ہے۔ لیکن آپ کا بینک اکاؤنٹ غلطی دکھاتا ہے۔

ایک ایسے آرڈر کے لیے ریفنڈ (refund) چلا گیا جو کبھی کینسل ہی نہیں ہوا تھا۔ کسٹمر کے پاس چیز بھی ہے اور پیسے بھی۔ ایجنٹ سمجھتا رہا کہ اس نے اپنا کام مکمل کر لیا ہے۔

کسی بڑے ماڈل کی طرف مت بھاگیں۔ صرف ایک ری ٹرائی لوپ (retry loop) شامل نہ کریں۔ یہ دونوں محض اندازے ہیں۔

اس کے بجائے، ٹریس (trace) پڑھیں۔ ایجنٹ پہلے ہی لکھ چکا ہے کہ اس نے کیا کیا۔

ایک اچھا پروڈکشن ٹریس لوپ کو مرحلہ وار ریکارڈ کرتا ہے۔ اس میں یہ دکھانا ضروری ہے:

• ایجنٹ نے کیا مشاہدہ کیا
• اس نے کیا فیصلہ کیا
• اس نے کون سا ٹول (tool) کال کیا
• ٹول نے کیا جواب دیا
• 'سورس آف ٹرتھ' (source of truth) سے کی گئی تصدیقی ریڈ (verification read)
• حتمی حالت اور لاگت

سب سے اہم حصہ ٹول کے جواب اور تصدیقی ریڈ (verification read) کے درمیان کا فرق ہے۔ ایک ٹول کہہ سکتا ہے کہ "accepted" (قبول کر لیا گیا)، لیکن اس کا مطلب یہ نہیں کہ حقیقت میں تبدیلی آ گئی۔ تصدیقی ریڈ آپ کو بتاتی ہے کہ آیا تبدیلی واقعی ہوئی یا نہیں۔

ناکامیاں عام طور پر دو گروہوں میں تقسیم ہوتی ہیں:

1. ایگزیکیوشن کی ناکامیاں (Execution Failures)

• ٹول کی ناکامیاں: غلط آرگومنٹ یا ٹائم آؤٹ (timeouts)۔
• منطقی ناکامیاں (Reasoning failures): ماڈل نے غلط عمل کا انتخاب کیا۔
• کنٹرول اسٹیٹ کی ناکامیاں: ایجنٹ ایک جھوٹ پر یقین کر لیتا ہے۔ وہ سمجھتا ہے کہ آرڈر کینسل ہو گیا ہے کیونکہ ٹول نے ایسا کہا، چاہے ڈیٹا بیس کچھ اور ہی کہہ رہا ہو۔

2. ساختی لوپ کی ناکامیاں (Structural Loop Failures)

• سیاق و سباق کی تنزلی (Context degradation): ایجنٹ بات کا تسلسل کھو دیتا ہے۔
• لوپ کا بے قابو ہونا (Loop runaway): ایجنٹ بغیر کسی پیش رفت کے قدموں کو دہراتا رہتا ہے۔
• خاموش تعطل (Silent stalls): ایجنٹ بغیر کسی غلطی کے رک جاتا ہے۔ آپ کو ایک واچ ڈاگ (watchdog) کی ضرورت ہے جو خاموشی کو بھی ناکامی تصور کرے۔

جب آپ کو کوئی ناکامی ملے، تو صرف ری ٹرائی (retry) نہ کریں۔ ری ٹرائی ایک حکمت عملی ہے، تشخیص نہیں۔

• اگر یہ ٹائم آؤٹ جیسا عارضی مسئلہ ہے، تو ری ٹرائی کریں۔
• اگر یہ منطقی غلطی ہے، تو ری ٹرائی کرنے سے آپ کا بجٹ صرف ہوگا اور نتیجہ وہی پرانی رکاوٹ ہی نکلے گی۔
• اگر ایجنٹ کسی رکاوٹ کا شکار ہو جائے، تو رک جائیں اور کسی انسان کو بتائیں۔

ناکامی کو ٹھیک کرنے کا بہترین طریقہ اسے ایک ٹیسٹ میں بدلنا ہے۔

گریڈر (grader) لکھنے کے لیے ٹریس کا استعمال کریں۔ اگر کوئی ایجنٹ کینسل ہونے کی تصدیق کرنے میں ناکام رہا، تو ایسا ٹیسٹ لکھیں جو اس وقت فیل ہو جائے جب کنفرم شدہ کینسل شدہ اسٹیٹس کے بغیر ریفنڈ ہو جائے۔ ان ناکامیوں کو، جن کی قیمت آپ پہلے ہی ادا کر چکے ہیں، ایسی ناکامیوں میں بدل دیں جن کے لیے آپ کو دوبارہ کبھی قیمت نہ چکانی پڑے۔

ماخذ: https://dev.to/gursharansingh/ai-agents-in-practice-part-7-when-the-loop-goes-wrong-reading-agent-failures-from-the-trace-5bdp

اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi