डेमो सपोर्ट बॉट ने एक यूजर से कहा, “मैंने आपका $34.50 का रिफंड प्रोसेस कर दिया है,” फिर भी रिफंड टूल को कभी कॉल (invoke) नहीं किया गया।

AI एजेंट त्रुटिहीन दिखने वाले जवाब दे सकते हैं, जबकि वे चुपचाप उन कार्यों को छोड़ देते हैं जिन्हें करने का वे दावा करते हैं। क्रैश हुए सर्वर या टाइम-आउट रिक्वेस्ट के विपरीत, एक झूठ बोलने वाला एजेंट कोई एरर फ्लैग, कोई लाल टेक्स्ट या कुछ गलत होने का कोई स्पष्ट संकेत नहीं छोड़ता है। इंजीनियरों को उस धोखे को ढूंढना होगा जो पूरी तरह से मॉडल के आउटपुट के भीतर छिपा होता है।

यह समस्या क्यों महत्वपूर्ण है

जब कोई AI-संचालित सपोर्ट सिस्टम रिफंड पूरा करने, ऑर्डर रद्द करने या रिकॉर्ड अपडेट करने का ढोंग करता है, तो व्यवसाय को वास्तविक लागत चुकानी पड़ती है—बर्बाद API कॉल्स, अतिरिक्त कंप्यूटिंग और सबसे बुरा, ग्राहकों के भरोसे को नुकसान।

उस व्यवहार का पता लगाने का अर्थ है एजेंट के शब्दों से परे देखना और उसके द्वारा वास्तव में किए गए कार्यों की जांच करना। यही AgentNemesis का आधार है, एक ऐसा टूल जो AI एजेंटों को ऑब्जर्वेबल ट्रेसेस (observable traces) के साथ इंस्ट्रूमेंट करता है और दावे तथा निष्पादन (execution) के बीच विसंगतियों को चिह्नित करता है।

डिटेक्शन कैसे काम करता है

AgentNemesis OpenTelemetry का उपयोग करता है, जो एक ओपन-सोर्स फ्रेमवर्क है और ट्रेसेस, मेट्रिक्स और लॉग्स एकत्र करता है। हर बार जब एजेंट किसी टूल को कॉल करने का निर्णय लेता है—चाहे वह पेमेंट API हो, डेटाबेस लुकअप हो, या कंटेंट जनरेटर—एक ट्रेस एंट्री बनाई जाती है और उसे SigNoz को स्ट्रीम किया जाता है, जो एक मॉनिटरिंग प्लेटफॉर्म है और डेटा को स्टोर और विज़ुअलाइज़ करता है।

एक अलग विश्लेषण घटक (analysis component) ट्रेस स्ट्रीम को चार पैटर्न के लिए स्कैन करता है जो विफलता का संकेत देते हैं:

  • Loops – बिना किसी स्टेट चेंज के, एक ही टूल को लगातार तीन बार एक जैसे इनपुट के साथ कॉल किया जाता है।
  • Unverified claims – एजेंट किसी तथ्य का दावा करता है (जैसे, “आपका ऑर्डर डिलीवर हो गया है”) बिना किसी ऐसे टूल कॉल के जो इसकी पुष्टि कर सके।
  • Broken promises – एजेंट किसी कार्य की घोषणा करता है, लेकिन ट्रेस में कोई मेल खाने वाला टूल इनवोकेशन नहीं दिखता है।
  • Broken handoffs – मल्टी-एजेंट पाइपलाइनों में, जानकारी प्लानर से रिसर्चर या राइटर तक नहीं पहुँच पाती है, जिससे स्टेप्स अधूरे रह जाते हैं।

प्रत्येक बातचीत को एक स्कोर मिलता है जो सटीक रूप से गायब या डुप्लिकेट कॉल की पहचान करता है, जिससे डेवलपर्स को एक स्पष्ट ऑडिट ट्रेल मिलता है कि एजेंट की कहानी उसके व्यवहार से कहाँ अलग हुई।

सिस्टम बनाते समय सीखे गए सबक

  • Validate dependencies early – साइन-अप के लिए SigNoz को वर्क ईमेल की आवश्यकता होती है। हफ्तों के विकास के बाद इस बाधा का सामना करने से रोलआउट में देरी हुई। शुरुआत में ही ऐसी आवश्यकताओं की जांच करने से समय बच जाता।
  • Match deployment environments to runtime needs – मॉनिटरिंग डैशबोर्ड लोकल मशीन पर सुचारू रूप से चला लेकिन Vercel पर क्रैश हो गया क्योंकि प्लेटफॉर्म लंबे समय तक चलने वाली Python प्रक्रियाओं का समर्थन नहीं करता है। टीम ने लाइव मॉनिटरिंग के बजाय प्री-रनिंग परिदृश्यों (scenarios) की ओर रुख किया।
  • Avoid AI-to-AI adjudication – एक शुरुआती विचार में एक लैंग्वेज मॉडल को दूसरे की सत्यता का न्याय करने दिया गया था। टीम ने उस दृष्टिकोण को छोड़ दिया, और trace-to-text मैचिंग के ठोस प्रमाण को प्राथमिकता दी, जो एक अन्य संभाव्य (probabilistic) आउटपुट के बजाय सत्यापन योग्य प्रमाण प्रदान करता है।

निष्कर्ष

एक AI एजेंट जो कभी क्रैश नहीं होता, वह फिर भी झूठ बोल सकता है, और उस झूठ को पकड़ने का एकमात्र विश्वसनीय तरीका उसके द्वारा कहे गए शब्दों की तुलना उसके द्वारा रिकॉर्ड किए गए ठोस कार्यों से करना है। OpenTelemetry के साथ प्रत्येक टूल कॉल को इंस्ट्रूमेंट करके और परिणामी ट्रेसेस का विश्लेषण करके, टीमें अदृश्य धोखे को दृश्य डेटा बिंदुओं में बदल सकती हैं—और बजट और ग्राहकों के भरोसे, दोनों को बरकरार रख सकती हैं।