𝗧𝗿𝘂𝘀𝘁 𝗜𝘀𝗻'𝘁 𝗔 𝗦𝗰𝗮𝗹𝗮𝗿: 𝗧𝘆𝗽𝗲𝗱 𝗣𝗿𝗼𝘃𝗲𝗻𝗮𝗻𝗰𝗲 𝗳𝗼𝗿 𝗔𝗴𝗲𝗻𝘁 𝗖𝗵𝗮𝗶𝗻𝘀

میں غلط تھا۔

اپنی پچھلی پوسٹ میں، میں نے یہ تجویز دی تھی کہ آیا AI ایجنٹ کا آؤٹ پٹ کمزور ہوا ہے یا نہیں، اس کا پتہ لگانے کے لیے ایک سادہ 'true' یا 'false' ٹیگ استعمال کیا جائے۔ ایک کمنٹس کرنے والے نے بتایا کہ یہ کیوں ناکام ہو جاتا ہے۔ ایک بولین (boolean) کافی نہیں ہے۔ اعتماد کوئی ایک عدد نہیں ہے۔

اگر آپ اعتماد کو صرف ایک اسکور میں محدود کر دیتے ہیں، تو آپ ناکام ہو جاتے ہیں۔

ایک ہی ڈیٹا استعمال کرتے ہوئے دو مختلف کاموں کا تصور کریں:

  • ایک خلاصہ نگار (summarizer) کو ایک مضبوط ماڈل کی ضرورت ہوتی ہے لیکن وہ پرانے ڈیٹا کے ساتھ کام کر سکتا ہے۔
  • ایک قیمت کا حساب لگانے والا (price calculator) تازہ ڈیٹا کا محتاج ہوتا ہے لیکن وہ ایک کمزور ماڈل کے ساتھ کام کر سکتا ہے۔

اگر ڈیٹا پرانا ہو اور وہ کسی کمزور ماڈل سے آیا ہو، تو ایک واحد ٹرسٹ اسکور آپ کو غلط انتخاب کرنے پر مجبور کر دیتا ہے۔ یا تو آپ سب کچھ مسترد کر دیتے ہیں یا پھر آپ خطرناک غلطیوں کو گزرنے دیتے ہیں۔

اس کا حل ٹائپڈ پروینینس (typed provenance) ہے۔

ایک واحد اسکور کے بجائے، ڈیٹا کا ایک ویکٹر (vector) استعمال کریں۔ یہ ویکٹر بالکل اس بات کا پتہ لگاتا ہے کہ کیا غلط ہوا اور کیسے ہوا۔ آپ مختلف محوروں (axes) کو ٹریک کرتے ہیں:

  • تازگی (Freshness): ڈیٹا کتنا جدید ہے؟
  • صلاحیت (Capability): ماڈل کتنا مضبوط ہے؟
  • ٹول (Tool): کیا ٹولز نے کام کیا؟
  • تصدیق (Verification): کیا حقائق کے ساتھ اس کی جانچ کی گئی؟

آپ کی چین کا ہر مرحلہ پھر اپنے قواعد خود لاگو کرتا ہے۔ خلاصہ نگار ویکٹر کو دیکھتا ہے اور کہتا ہے "یہ ٹھیک ہے۔" قیمت کا حساب لگانے والا اسی ویکٹر کو دیکھتا ہے اور کہتا ہے "یہ بہت پرانا ہے، کارروائی نہ کریں۔"

یہ اعتماد کو ڈیٹا کی ایک خصوصیت سے بدل کر اس ڈیٹا کے استعمال کرنے والے کے فیصلے میں تبدیل کر دیتا ہے۔

اسے بہت پیچیدہ بنائے بغیر کیسے بنایا جائے:

  • ہر محور کے لیے ایک کم از کم (minimum) ویلیو استعمال کریں۔ اسکورز کا اوسط (average) نہ نکالیں۔ اوسط نکالنا غلطیوں کو چھپا دیتا ہے۔
  • صرف ایک محور تب ہی شامل کریں جب وہ آپ کے ریکوری ایکشن (recovery action) کو تبدیل کرے۔
  • اگر تازگی (freshness) کی غلطی کا مطلب یہ ہے کہ آپ کو دوبارہ ڈیٹا حاصل (refetch) کرنا ہوگا، تو یہ ایک محور ہے۔
  • اگر صلاحیت (capability) کی غلطی کا مطلب یہ ہے کہ آپ کو بہتر ماڈل پر دوبارہ چلانا ہوگا، تو یہ ایک محور ہے۔
  • اگر دو غلطیاں ایک ہی حل کی طرف لے جاتی ہیں، تو انہیں یکجا کر دیں۔

ایجنٹ کی بھروسہ مندی (reliability) دراصل پروینینس کا مسئلہ ہے۔ آپ کو ہر فیصلے کی تاریخ (lineage) کو ٹریک کرنا چاہیے۔

Source: https://dev.to/p0rt/trust-isnt-a-scalar-typed-provenance-for-agent-chains-229p

Optional learning community: https://t.me/GyaanSetuAi