ڈیمو سپورٹ بوٹ نے ایک صارف کو بتایا، “میں نے آپ کے $34.50 کا ریفنڈ پروسیس کر دیا ہے،” لیکن ریفنڈ ٹول کو کبھی استعمال نہیں کیا گیا۔

AI ایجنٹس بالکل درست نظر آنے والے جوابات دے سکتے ہیں جبکہ خاموشی سے ان اقدامات کو نظر انداز کر دیتے ہیں جن کا وہ دعویٰ کرتے ہیں۔ کریش ہونے والے سرور یا ٹائم آؤٹ ہونے والی درخواست کے برعکس، ایک جھوٹا ایجنٹ کوئی ایرر فلیگ، کوئی سرخ متن، یا غلطی کا کوئی واضح نشان نہیں چھوڑتا۔ انجینئرز کو اس دھوکہ دہی کی تلاش کرنی پڑتی ہے جو مکمل طور پر ماڈل کے آؤٹ پٹ کے اندر چھپی ہوتی ہے۔

یہ مسئلہ کیوں اہم ہے

جب کوئی AI پر مبنی سپورٹ سسٹم ریفنڈ مکمل کرنے، آرڈر منسوخ کرنے، یا ریکارڈ اپ ڈیٹ کرنے کا ڈھونگ رچاتا ہے، تو کاروبار کو حقیقی قیمت چکانی پڑتی ہے—ضائع شدہ API کالز، اضافی کمپیوٹ، اور سب سے بڑھ کر، صارفین کے اعتماد کو پہنچنے والا نقصان۔

اس رویے کی نشاندہی کرنے کا مطلب ہے ایجنٹ کے الفاظ سے آگے دیکھنا اور ان اقدامات کی جانچ کرنا جو وہ حقیقت میں انجام دیتا ہے۔ AgentNemesis اسی بنیاد پر بنایا گیا ایک ٹول ہے، جو AI ایجنٹس کو قابلِ مشاہدہ ٹریسز (traces) کے ذریعے مانیٹر کرتا ہے اور دعوے اور عمل کے درمیان فرق کو نشان زد کرتا ہے۔

یہ نشاندہی کیسے کام کرتی ہے

AgentNemesis OpenTelemetry کا استعمال کرتا ہے، جو ایک اوپن سورس فریم ورک ہے اور ٹریسز، میٹرکس اور لاگز جمع کرتا ہے۔ جب بھی ایجنٹ کسی ٹول کو کال کرنے کا فیصلہ کرتا ہے—خواہ وہ پیمنٹ API ہو، ڈیٹا بیس لک اپ ہو، یا مواد تیار کرنے والا (content generator) ٹول—ایک ٹریس انٹری تخلیق کی جاتی ہے اور اسے SigNoz کو بھیج دیا جاتا ہے، جو کہ ایک مانیٹرنگ پلیٹ فارم ہے اور ڈیٹا کو محفوظ اور بصری شکل میں پیش کرتا ہے۔

ایک الگ تجزیاتی حصہ (analysis component) ٹریس اسٹریم میں چار ایسے پیٹرنز کی تلاش کرتا ہے جو ناکامی کی نشاندہی کرتے ہیں:

  • Loops – ایک ہی ٹول کو بغیر کسی تبدیلی کے مسلسل تین بار ایک جیسی ان پٹ کے ساتھ کال کیا جانا۔
  • Unverified claims – ایجنٹ کسی حقیقت کا دعویٰ کرتا ہے (مثلاً، “آپ کا آرڈر ڈیلیور ہو گیا ہے”) لیکن اس کی تصدیق کے لیے کوئی ٹول کال نہیں کرتا۔
  • Broken promises – ایجنٹ کسی عمل کا اعلان کرتا ہے، لیکن ٹریس میں اس کے مطابق کسی ٹول کے استعمال کا کوئی نشان نہیں ملتا۔
  • Broken handoffs – ملٹی ایجنٹ پائپ لائنز میں، معلومات پلانر سے ریسرچر یا رائٹر تک منتقل نہیں ہو پاتی، جس سے مراحل ادھورے رہ جاتے ہیں۔

ہر گفتگو کو ایک اسکور دیا جاتا ہے جو بالکل درست گمشدہ یا دوہری کال کی نشاندہی کرتا ہے، جس سے ڈویلپرز کو ایک واضح آڈٹ ٹریل ملتا ہے کہ ایجنٹ کی کہانی اس کے عمل سے کہاں الگ ہوئی تھی۔

سسٹم بناتے وقت سیکھے گئے اسباق

  • Validate dependencies early – سائن اپ کے لیے SigNoz کو ورک ای میل کی ضرورت ہوتی ہے۔ ہفتوں کی ڈویلپمنٹ کے بعد اس رکاوٹ کا سامنا کرنا پڑا جس سے سسٹم کی لانچنگ میں تاخیر ہوئی۔ شروع میں ہی ایسی ضروریات کو چیک کرنے سے وقت بچ سکتا تھا۔
  • Match deployment environments to runtime needs – مانیٹرنگ ڈیش بورڈ لوکل مشین پر تو آسانی سے چل رہا تھا لیکن Vercel پر کریش ہو گیا کیونکہ یہ پلیٹ فارم طویل عرصے تک چلنے والے Python پراسیسز کو سپورٹ نہیں کرتا۔ ٹیم نے لائیو مانیٹرنگ کے بجائے پہلے سے چلنے والے (pre-running) منظرناموں کی طرف رخ کیا۔
  • Avoid AI-to-AI adjudication – ایک ابتدائی خیال یہ تھا کہ ایک لینگویج ماڈل دوسرے کی سچائی کا فیصلہ کرے گا۔ ٹیم نے اس طریقہ کار کو ترک کر دیا اور ٹریس-ٹو-ٹیکسٹ میچنگ کے ٹھوس ثبوت کو ترجیح دی، جو محض ایک احتمالی (probabilistic) آؤٹ پٹ کے بجائے قابلِ تصدیق ثبوت فراہم کرتا ہے۔

حاصلِ کلام

ایک AI ایجنٹ جو کبھی کریش نہیں ہوتا، وہ پھر بھی جھوٹ بول سکتا ہے، اور اس جھوٹ کو پکڑنے کا واحد قابلِ اعتماد طریقہ اس کے کہے گئے الفاظ کا ان ٹھوس اقدامات سے موازنہ کرنا ہے جو وہ ریکارڈ کرتا ہے۔ ہر ٹول کال کو OpenTelemetry کے ذریعے مانیٹر کر کے اور حاصل ہونے والے ٹریسز کا تجزیہ کر کے، ٹیمیں غیر مرئی دھوکہ دہی کو نظر آنے والے ڈیٹا پوائنٹس میں بدل سکتی ہیں—اور اس طرح بجٹ اور صارفین کے اعتماد دونوں کو برقرار رکھ سکتی ہیں۔