एक कोरम का मुखौटा: एजेंट वेरिफिकेशन (Agent Verification) के लिए फॉल्ट इंजेक्शन (Fault Injection) क्यों आवश्यक है

आपका AI एजेंट अपनी सटीकता (accuracy) के बारे में आपसे झूठ बोल सकता है।

हाल ही में मैंने एक AI पार्टनर को लगातार तीन बार विफल होते देखा। इसने अलग-अलग सतहों (surfaces) पर एक ही सच्चाई की समस्या को नज़रअंदाज़ कर दिया। इसने गलत लहजे (voice) में लिखा। एक रिव्यूअर मॉडल (reviewer model) ने हर बार उसी गलती को पढ़ने पर उसे उच्च रेटिंग दी। इसने फैक्ट ड्रिफ्ट (fact drift) के बारे में तथ्यों की गिनती में भी गलती की।

मैंने इन गलतियों को केवल इसलिए पकड़ा क्योंकि मैं लूप (loop) से बाहर बैठा था।

यह एजेंट स्टैक (agent stack) में एक बड़ी समस्या को उजागर करता है। अधिकांश वेरिफिकेशन सिस्टम स्वतंत्रता (independence) मानकर चलते हैं। वे मल्टी-एजेंट वोटिंग (multi-agent voting), मेकर/चेकर पैटर्न (maker/checker patterns), या एन्सेम्बल प्रॉम्प्ट्स (ensemble prompts) का उपयोग करते हैं। वे यह मान लेते हैं कि अलग-अलग रास्ते अलग-अलग चीजें देखेंगे।

लेकिन अक्सर, ये रास्ते एक ही स्रोत (source) साझा करते हैं।

जब एक रिव्यूअर उसी स्रोत से पढ़ता है जिससे राइटर पढ़ता है, तो आपके पास दो अलग दृष्टिकोण (views) नहीं होते। आपके पास दो अलग-अलग भूमिकाओं (hats) में एक ही दृष्टिकोण होता है। यह एक कोरम के मुखौटे में छिपा हुआ एक 'सिंगल पॉइंट ऑफ फेलियर' (single point of failure) है।

यदि रास्ते एक ही अपस्ट्रीम (upstream) साझा करते हैं, तो वे एक ही गलत तथ्य या एक ही मतिभ्रम (hallucination) पर सहमत होंगे। सिस्टम स्वस्थ दिखता है क्योंकि आउटपुट विविध लगते हैं, लेकिन जब भी स्रोत झूठ बोलता है, यह विफल हो जाता है।

इसे ठीक करने के लिए, आपको फॉल्ट इंजेक्शन (fault injection) का उपयोग करना चाहिए।

केवल यह न मापें कि क्या एजेंट असहमत हैं। यह मापें कि क्या आप सिस्टम के किसी हिस्से को तोड़कर उन्हें असहमत होने के लिए मजबूर कर सकते हैं।

यहाँ बताया गया है कि आप अपने स्टैक का परीक्षण कैसे करें:

  • एक खराब मेमोरी इंजेक्ट करें: एक रिट्रीवल पाथ (retrieval path) में एक फर्जी तथ्य डालें। यदि दोनों रास्ते फर्जी तथ्य लौटाते हैं, तो आपके रास्ते आपस में जुड़े (coupled) हुए हैं।
  • एक नियम बदलें (Mutate a rule): ऑफलाइन एक नियम बदलें। यदि मेकर और चेकर दोनों बिना किसी विसंगति (mismatch) को फ्लैग किए नए नियम का पालन करते हैं, तो वे एक ही कैश (cache) साझा कर रहे हैं।
  • गलत टेलीमेट्री डालें: एक फर्जी मॉडल ID लॉग करें। यदि चेक पास हो जाता है, तो इसका मतलब है कि verifier वही रिकॉर्ड पढ़ रहा है जो writer पढ़ रहा है।

डिस्ट्रीब्यूटेड सिस्टम्स (Distributed systems) ने इसे सालों पहले हल कर लिया था। वे केओस इंजीनियरिंग (chaos engineering) और पार्टीशन टेस्ट (partition tests) का उपयोग करते हैं। वे सिस्टम को अच्छी तरह चलते हुए देखकर उस पर भरोसा नहीं करते। वे विफलता (failure) पैदा करके उस पर भरोसा करते हैं।

एजेंट आर्किटेक्चर को इस अनुशासन को अपनाना चाहिए।

स्वतंत्रता (Independence) कोई ऐसी विशेषता नहीं है जिसे आप एक बार स्थापित कर लें। यह एक ऐसी विशेषता है जिसे आपको लगातार पुन: सत्यापित (re-verify) करना चाहिए। एक साझा कैश या मॉडल अपडेट रातों-रात आपकी स्वतंत्रता को खत्म कर सकता है।

सर्वसम्मत मतों (unanimous votes) पर भरोसा करना बंद करें। फॉल्ट इंजेक्ट करना शुरू करें।

Source: https://dev.to/jugeni/a-quorum-costume-why-agent-verification-needs-fault-injection-kbh

Optional learning community: https://t.me/GyaanSetuAi