ایک کورم کا لبادہ: ایجنٹ کی تصدیق کے لیے فالٹ انجکشن کیوں ضروری ہے

آپ کا AI ایجنٹ اپنی درستگی کے بارے میں آپ سے جھوٹ بول رہا ہو سکتا ہے۔

میں نے حال ہی میں ایک AI پارٹنر کو لگاتار تین بار ناکام ہوتے دیکھا۔ اس نے مختلف سطحوں پر ایک ہی سچائی کے مسئلے کو نظر انداز کیا۔ اس نے غلط لہجے (voice) میں لکھا۔ ایک ریویو ماڈل نے ہر بار اسی غلطی کو پڑھنے کے باوجود اسے زیادہ ریٹنگ دی۔ یہاں تک کہ اس نے 'fact drift' کے بارے میں حقائق کی غلط گنتی بھی کی۔

میں نے ان غلطیوں کو صرف اس لیے پکڑا کیونکہ میں اس لوپ (loop) سے باہر بیٹھا تھا۔

یہ ایجنٹ اسٹیک (agent stack) میں ایک بہت بڑا مسئلہ ظاہر کرتا ہے۔ زیادہ تر تصدیقی نظام آزادی (independence) کا مفروضہ قائم کرتے ہیں۔ وہ ملٹی ایجنٹ ووٹنگ، میکر/چیکر پیٹرنز، یا انسمبل پرامپٹس (ensemble prompts) کا استعمال کرتے ہیں۔ وہ یہ فرض کرتے ہیں کہ مختلف راستے مختلف چیزیں دیکھیں گے۔

لیکن اکثر، یہ راستے ایک ہی ذریعے (source) کو استعمال کرتے ہیں۔

جب ایک ریویو کرنے والا وہی ذریعہ استعمال کرتا ہے جو لکھنے والا کر رہا ہے، تو آپ کے پاس دو نظریات نہیں ہوتے۔ بلکہ آپ کے پاس دو مختلف روپوں میں ایک ہی نظریہ ہوتا ہے۔ یہ ایک 'سنگل پوائنٹ آف فیلر' (single point of failure) ہے جس نے کورم کا لبادہ اوڑھ رکھا ہے۔

اگر راستے ایک ہی اپ اسٹریم (upstream) کو استعمال کرتے ہیں، تو وہ ایک ہی غلط حقیقت یا ایک ہی ہالوسینیشن (hallucination) پر متفق ہوں گے۔ سسٹم صحت مند نظر آتا ہے کیونکہ آؤٹ پٹس متنوع نظر آتے ہیں، لیکن جب بھی ذریعہ جھوٹ بولتا ہے، سسٹم ناکام ہو جاتا ہے۔

اسے ٹھیک کرنے کے لیے، آپ کو فالٹ انجکشن (fault injection) کا استعمال کرنا چاہیے۔

صرف یہ نہ ناپیں کہ آیا ایجنٹس اختلاف کرتے ہیں یا نہیں۔ بلکہ یہ ناپیں کہ کیا آپ سسٹم کے کسی حصے کو توڑ کر انہیں اختلاف کرنے پر مجبور کر سکتے ہیں۔

آپ اپنے اسٹیک کو اس طرح ٹیسٹ کر سکتے ہیں:

  • ایک غلط یادداشت شامل کریں (Inject a bad memory): ایک ریٹریول پاتھ (retrieval path) میں ایک فرضی حقیقت ڈالیں۔ اگر دونوں راستے وہی فرضی حقیقت واپس لاتے ہیں، تو آپ کے راستے آپس میں جڑے ہوئے (coupled) ہیں۔
  • ایک اصول کو تبدیل کریں (Mutate a rule): آف لائن کوئی اصول بدلیں۔ اگر میکر اور چیکر دونوں کسی تضاد کی نشاندہی کیے بغیر نئے اصول پر عمل کرتے ہیں، تو وہ ایک ہی کیش (cache) استعمال کر رہے ہیں۔
  • غلط ٹیلی میٹری ڈالیں (Plant wrong telemetry): ایک فرضی ماڈل آئی ڈی لاگ کریں۔ اگر چیک پاس ہو جاتا ہے، تو ویریفائر وہی ریکارڈ پڑھ رہا ہے جو رائٹر پڑھ رہا ہے۔

ڈسٹریبیوٹڈ سسٹمز (Distributed systems) نے اس مسئلے کو سالوں پہلے حل کر لیا تھا۔ وہ کیوس انجینئرنگ (chaos engineering) اور پارٹیشن ٹیسٹ استعمال کرتے ہیں۔ وہ سسٹم کو اچھی طرح چلتے ہوئے دیکھ کر اس پر بھروسہ نہیں کرتے، بلکہ وہ ناکامی پیدا کر کے اس پر بھروسہ کرتے ہیں۔

ایجنٹ آرکیٹیکچرز کو اس نظم و ضبط کو اپنانا چاہیے۔

آزادی (Independence) کوئی ایسی خصوصیت نہیں ہے جسے آپ ایک بار قائم کر لیں۔ یہ ایک ایسی خصوصیت ہے جسے آپ کو مسلسل دوبارہ تصدیق کرنی چاہیے۔ ایک مشترکہ کیش یا ماڈل اپ ڈیٹ راتوں رات آپ کی آزادی کو ختم کر سکتی ہے۔

متفقہ ووٹوں پر بھروسہ کرنا چھوڑ دیں۔ فالٹس انجیکٹ کرنا شروع کریں۔

Source: https://dev.to/jugeni/a-quorum-costume-why-agent-verification-needs-fault-injection-kbh

Optional learning community: https://t.me/GyaanSetuAi