ٹول کال کامیاب رہی۔ نتیجہ ناکام رہا۔

انجینئرنگ ٹیمیں اکثر غلط اشاروں کی تلاش میں رہتی ہیں۔

آپ کریشز (crashes) تلاش کرتے ہیں۔ آپ استثنائی حالات (exceptions) تلاش کرتے ہیں۔ آپ سرخ ڈیش بورڈز تلاش کرتے ہیں۔

کچھ بدترین ناکامیاں ناکامیوں جیسی نہیں لگتیں۔ وہ کامیابی جیسی نظر آتی ہیں۔

میں نے AI agents اور MCP servers کے ساتھ کام کرتے ہوئے یہ پیٹرن دیکھا۔ ایک ایجنٹ ایک ٹول کو کال کرتا ہے۔ ٹول ایک کامیاب رسپانس (response) واپس کرتا ہے۔ کوئی غلطی (error) نہیں ہوتی۔ کوئی ٹائم آؤٹ (timeout) نہیں ہوتا۔ سسٹم صحت مند نظر آتا ہے۔

لیکن کام ناکام ہو گیا۔ عمل کبھی ہوا ہی نہیں۔ صارف کو غلط نتیجہ ملتا ہے۔

کسٹمر آپ کی ٹیم سے پہلے مسئلہ دریافت کر لیتا ہے۔

زیادہ تر سافٹ ویئر ایک ہی تصور پر چلتے ہیں: اگر درخواست (request) کامیاب ہو جائے، تو نتیجہ بھی کامیاب ہو جاتا ہے۔

یہ تصور تب ناکام ہو جاتا ہے جب آپ بیرونی سسٹمز استعمال کرتے ہیں۔ AI agents، APIs، ڈیٹا بیسز اور SaaS پلیٹ فارمز پر انحصار کرتے ہیں۔ ہر انحصار (dependency) درخواست اور حقیقت کے درمیان ایک فرق پیدا کرتا ہے۔

سسٹم کامیابی کی رپورٹ دیتا ہے۔ حقیقت میں یہ ایک ناکامی ہے۔

مثالی منظرنامے:

• ٹول ایک درست رسپانس واپس کرتا ہے، لیکن نتیجہ null ہوتا ہے۔ ایجنٹ نامکمل ڈیٹا کے ساتھ کام جاری رکھتا ہے۔ • ایک درخواست تین عمل شروع کرتی ہے۔ صرف ایک مکمل ہوتا ہے۔ ٹول پھر بھی کامیابی کی رپورٹ دیتا ہے۔ اب آپ کا ورک فلو (workflow) ٹوٹ چکا ہے۔ • رسپانس کامیابی سے پہنچ جاتا ہے، لیکن ڈیٹا پرانا ہوتا ہے۔ ایجنٹ پرانے حقائق کی بنیاد پر فیصلے کرتا ہے۔ • ایک فیلڈ کا فارمیٹ بدل جاتا ہے۔ سسٹم اب بھی ڈیٹا وصول کرتا ہے، لیکن اس کا مطلب غلط ہوتا ہے۔ ورک فلو خاموشی سے ٹوٹ جاتا ہے۔

کریشز کو تلاش کرنا آسان ہے۔ خاموش ناکامیاں (silent failures) تلاش کرنا مشکل ہے۔

ایک کریش الرٹ (alert) پیدا کرتا ہے۔ ایک خاموش ناکامی صارف کا اعتماد تباہ کر دیتی ہے۔ نقصان ہونے کے بعد انجینئرز گھنٹوں ڈی بگنگ (debugging) میں گزار دیتے ہیں۔

تحقیقات عام طور پر تب شروع ہوتی ہیں جب کوئی کسٹمر شکایت کرتا ہے۔ بھروسہ مندی (reliability) کے مسئلے کو جاننے کا یہ سب سے مہنگا طریقہ ہے۔

کامیاب درخواستوں پر بھروسہ کرنا چھوڑ دیں۔ کامیاب نتائج کی تصدیق کرنا شروع کریں۔

ایک رسپانس کوڈ آپ کو صرف یہ بتاتا ہے کہ کیا رابطہ ہوا تھا۔ یہ آپ کو یہ نہیں بتاتا کہ کیا مقصد حاصل ہو گیا تھا۔

اپنی آخری 10 پروڈکشن ٹول کالز کا جائزہ لیں۔ یہ سوالات پوچھیں:

  • کیا درخواست کامیاب رہی؟
  • کیا مطلوبہ نتیجہ حاصل ہوا؟
  • اگر یہ ناکام ہو جائے تو ہمیں کیسے پتہ چلے گا؟

اگر جوابات مختلف ہوں، تو آپ کے پاس بھروسہ مندی کا فرق (reliability gap) موجود ہے۔ اگر آپ اسے نہیں ڈھونڈیں گے تو آپ کے صارفین جلد ہی اسے ڈھونڈ لیں گے۔

Source: https://dev.to/sasi_sundar/the-tool-call-succeeded-the-outcome-failed-3l59

Optional learning community: https://t.me/GyaanSetuAi