FailureDNA کی تعمیر: ایک ایجنٹ میموری جو جانتی ہے کہ خود پر کب بھروسہ نہیں کرنا چاہیے

زیادہ تر AI ایجنٹس ایک خطرناک غلطی کرتے ہیں۔ وہ نئے outages کو حل کرنے کے لیے ماضی کے واقعات کا استعمال کرتے ہیں۔ اگر کوئی نیا مسئلہ پرانے مسئلے جیسا نظر آئے، تو ایجنٹ پرانے حل کی نقل کر لیتا ہے۔

یہ ایک مسئلہ ہے۔ مماثلت کا مطلب اطلاق (applicability) نہیں ہے۔ ایک پرانا حل پرانے ڈیٹا بیس ورژن کے لیے کام کر سکتا ہے لیکن آپ کے موجودہ ورژن پر ناکام ہو سکتا ہے۔ ایک ناکام حل کو دہرانے سے وقت ضائع ہوتا ہے۔ ایک پرانا حل استعمال کرنے سے outage کی صورتحال مزید خراب ہو جاتی ہے۔

میں نے اس مسئلے کو حل کرنے کے لیے FailureDNA بنایا ہے۔ یہ ایک میموری سسٹم ہے جو حقیقی نتائج کو ٹریک کرتا ہے۔ یہ فیصلہ کرتا ہے کہ آیا ماضی کا تجربہ مفید ہے، اس کے معائنے کی ضرورت ہے، یا اس سے بچنا چاہیے۔

یہ سسٹم ایک اصول پر عمل کرتا ہے: ماڈل action کا انتخاب کرتا ہے، لیکن deterministic کوڈ فیصلہ کرتا ہے کہ کیا درست ہے۔

How it works: • ایجنٹ واقعے کی علامات کو embed کرتا ہے۔ • یہ Alibaba Cloud RDS پر pgvector کا استعمال کرتے ہوئے ماضی کے واقعات تلاش کرتا ہے۔ • ایک deterministic gate نتائج کی جانچ کرتا ہے۔ • ماڈل ایک allowlisted action کا انتخاب کرتا ہے۔ • سسٹم action کو نافذ کرتا ہے اور حقیقی نتیجہ محفوظ کرتا ہے۔

Gate تین سادہ اصول استعمال کرتا ہے:

  • اگر ماضی کا نتیجہ ناکامی تھی: اس سے بچیں۔
  • اگر ماضی کا نتیجہ کامیابی تھی اور environment مماثل ہے: اسے استعمال کریں۔
  • اگر ماضی کا نتیجہ کامیابی تھی لیکن environment بدل گیا ہے: اس کا معائنہ کریں۔

ایجنٹ کسی معلوم ناکامی کو دہرانے سے قاصر ہے۔ سسٹم ماڈل کے دیکھنے سے پہلے ہی برے actions کو ہٹا دیتا ہے۔ یہ ماڈل کو warnings کو نظر انداز کرنے سے روکتا ہے۔ ماڈل تخلیقی صلاحیت فراہم کرتا ہے، لیکن کوڈ حفاظت فراہم کرتا ہے۔

Technical details: • میں نے embeddings اور action selection کے لیے Qwen Cloud کا استعمال کیا۔ • text-embedding-v3، 1024-d vectors تخلیق کرتا ہے۔ • Hybrid retrieval، semantic similarity اور keyword overlap کو یکجا کرتا ہے۔ • Backend، Alibaba Cloud Function Compute پر FastAPI کے ساتھ چلتا ہے۔ • Memory، ApsaraDB RDS for PostgreSQL میں رہتی ہے۔

FailureDNA ایجنٹ کو تاریخی ناکامیوں کو دہرانے اور پرانے حل استعمال کرنے سے روکتا ہے۔ یہ سسٹم کو محفوظ رکھتے ہوئے ماڈل کو تخلیقی رکھتا ہے۔

Source: https://dev.to/prabhakaranjm/building-failuredna-an-agent-memory-that-knows-when-not-to-trust-itself-fbn

Optional learning community: https://t.me/GyaanSetuAi