The Confabulation Cascade

میرا AI ایجنٹ ایک لوپ میں پھنس گیا۔

یہ ایک فرضی کالم کے نام کے ساتھ SQL کوئری لکھتا تھا۔ ڈیٹا بیس ایک ایرر واپس کرتا تھا۔ ایرر میسج میں اصل کالموں کی فہرست شامل ہوتی تھی۔ ایجنٹ اس تصحیح کو پڑھتا تھا۔ پھر، وہ بالکل وہی غلط کالم کا نام دوبارہ لکھ دیتا تھا۔

میں اسے confabulation cascade کہتا ہوں۔

یہ ماڈل کا مسئلہ نہیں ہے۔ یہ ٹول کے ڈیزائن کا مسئلہ ہے۔

یہ لوپ اس طرح کام کرتا ہے:

  • ایجنٹ اپنی ٹریننگ کی بنیاد پر ایک کوئری تیار کرتا ہے۔
  • کوئری ناکام ہو جاتی ہے۔
  • ایرر میسج حقیقت فراہم کرتا ہے۔
  • ایجنٹ حقیقت دیکھتا ہے لیکن اس کے بجائے اپنی اندرونی ٹریننگ پر بھروسہ کرتا ہے۔
  • ایجنٹ غلطی کو دہراتا ہے۔

ایجنٹ کو دو سگنلز کا سامنا ہوتا ہے۔ ایک سگنل ایرر میسج ہے۔ دوسرا سگنل ماڈل کی ٹریننگ ہے۔ ٹریننگ اکثر زیادہ مضبوط ہوتی ہے۔ ایرر میسج صرف ایک بار ظاہر ہوتا ہے۔ ٹریننگ ماڈل کے لکھے ہوئے ہر ایک لفظ کے ساتھ موجود ہوتی ہے۔

میں نے اسے پرامپٹ انجینئرنگ (prompt engineering) کے ذریعے ٹھیک کرنے کی کوشش کی۔ میں نے ماڈل کو ایررز پر توجہ دینے کے لیے کہا۔ اس سے کوئی فائدہ نہیں ہوا۔

اصل مسئلہ یہ ہے کہ میرا ایجنٹ صرف ناکام ہو کر ہی سیکھ سکتا تھا۔ اس کے پاس عمل کرنے سے پہلے ٹیبل کے ڈھانچے کو چیک کرنے کا کوئی طریقہ نہیں تھا۔ اسے اندازہ لگانا پڑتا تھا۔

اگر آپ کسی انسان کو API دیتے ہیں، تو آپ انہیں ڈاکومنٹیشن دیتے ہیں۔ آپ انہیں تب تک خراب ریکویسٹ بھیجنے پر مجبور نہیں کرتے جب تک کہ ایرر میسجز انہیں اسکیما (schema) نہ سکھا دیں۔

میں نے ایک فعال (proactive) ٹول بنا کر اسے ٹھیک کیا۔ ایرر کا انتظار کرنے کے بجائے، ایجنٹ اب پہلے describe_table ٹول کو کال کرتا ہے۔

نیا ورک فلو:

  • ایجنٹ ایک ٹیبل کو کوئری کرنا چاہتا ہے۔
  • ایجنٹ اصل کالم دیکھنے کے لیے describe_table کو کال کرتا ہے۔
  • ایجنٹ درست نام اور اقسام (types) حاصل کر لیتا ہے۔
  • ایجنٹ پہلی ہی کوشش میں درست کوئری لکھتا ہے۔

لوپ رک گیا۔ ماڈل زیادہ ذہین نہیں ہوا۔ ایجنٹ نے بس اندازہ لگانا بند کر دیا۔

اگر آپ کے ایجنٹس ڈیٹا بیس یا APIs استعمال کرتے ہیں، تو یہ پوچھیں: کیا وہ عمل کرنے سے پہلے ڈھانچے کی تصدیق کر سکتے ہیں؟ یا وہ صرف ناکام ہو کر سیکھتے ہیں؟

ری ایکٹیو (reactive) ایرر ہنٹس اچھے ہوتے ہیں۔ لیکن وہ کافی نہیں ہیں۔ ایک ایجنٹ جو صرف ناکامی کے ذریعے سیکھتا ہے، وہ ہمیشہ ہیلو سینیشن (hallucination) سے صرف ایک قدم دور ہوتا ہے۔

ایسے ٹولز بنائیں جو ایجنٹس کو غلطی کرنے سے پہلے سوال پوچھنے کی اجازت دیں۔

Source: https://dev.to/niclydon/the-confabulation-cascade-when-your-agent-learns-nothing-from-its-own-mistakes-m08

Optional learning community: https://t.me/GyaanSetuAi