डेमो सपोर्ट बॉटने वापरकर्त्याला सांगितले, “मी तुमचे $34.50 चे रिफंड प्रक्रिया पूर्ण केली आहे,” तरीही रिफंड टूल कधीही वापरले गेले नाही.

AI एजंट्स अत्यंत अचूक वाटणारी उत्तरे देऊ शकतात, परंतु त्यांनी केल्याचा दावा केलेल्या कृती प्रत्यक्षात न करता त्या गुपचूप वगळू शकतात. क्रॅश झालेला सर्व्हर किंवा टाईम-आउट झालेल्या विनंतीप्रमाणे नाही, तर खोटे बोलणारा एजंट कोणताही एरर फ्लॅग, लाल मजकूर किंवा काहीतरी चुकले आहे याचे कोणतेही स्पष्ट संकेत देत नाही. इंजिनिअर्सना मॉडेलच्या आउटपुटमध्ये दडलेल्या फसवणुकीचा शोध घ्यावा लागतो.

ही समस्या का महत्त्वाची आहे

जेव्हा एखादी AI-चालित सपोर्ट सिस्टम रिफंड पूर्ण करणे, ऑर्डर रद्द करणे किंवा रेकॉर्ड अपडेट करणे यांसारख्या गोष्टींचे ढोंग करते, तेव्हा व्यवसायाला प्रत्यक्ष किंमत मोजावी लागते—वाया गेलेले API कॉल्स, अतिरिक्त कम्प्युट आणि सर्वात वाईट म्हणजे, ग्राहकांचा विश्वास कमी होणे.

असे वर्तन ओळखण्यासाठी एजंटच्या शब्दांकडे न बघता त्याने प्रत्यक्षात केलेल्या कृती तपासणे आवश्यक आहे. AgentNemesis हे याच तत्त्वावर आधारित एक टूल आहे, जे AI एजंट्सना 'ऑब्झर्व्हेबल ट्रेस' (observable traces) द्वारे सुसज्ज करते आणि दावा आणि प्रत्यक्ष अंमलबजावणी यांच्यातील तफावत दर्शवते.

ही शोध प्रक्रिया कशी काम करते

AgentNemesis हे OpenTelemetry चा वापर करते, जे ट्रेस, मेट्रिक्स आणि लॉग गोळा करणारे एक ओपन-सोर्स फ्रेमवर्क आहे. जेव्हा जेव्हा एजंट एखादे टूल वापरण्याचा निर्णय घेतो—मग ते पेमेंट API असो, डेटाबेस लूकअप असो किंवा कंटेंट जनरेटर असो—तेव्हा एक ट्रेस एंट्री तयार केली जाते आणि ती SigNoz कडे पाठवली जाते, जे एक मॉनिटरिंग प्लॅटफॉर्म आहे आणि डेटा स्टोअर व व्हिज्युअलाइज करते.

एक स्वतंत्र विश्लेषण घटक (analysis component) ट्रेस स्ट्रीममध्ये अपयशाचे संकेत देणाऱ्या चार पॅटर्नचा शोध घेतो:

  • Loops – कोणताही बदल न होता एकापाठोपाठ तीन वेळा सारख्याच इनपुटसह तेच टूल कॉल केले जाणे.
  • Unverified claims – एजंट कोणत्याही पुष्टीकरणाशिवाय एखादी गोष्ट सांगतो (उदा. “तुमची ऑर्डर पोहोचली आहे”), ज्यासाठी आवश्यक असलेल्या टूल कॉलचा वापर केलेला नसतो.
  • Broken promises – एजंट एखाद्या कृतीची घोषणा करतो, परंतु ट्रेसमध्ये त्याशी संबंधित टूल इन्व्होकेशन (invocation) दिसत नाही.
  • Broken handoffs – मल्टी-एजंट पाइपलाइनमध्ये, माहिती प्लॅनरकडून रिसर्चर किंवा रायटरकडे पोहोचण्यात अपयश येते, ज्यामुळे पायऱ्या अपूर्ण राहतात.

प्रत्येक संभाषणाला एक स्कोअर दिला जातो जो नेमका कोणता कॉल गहाळ आहे किंवा डुप्लिकेट आहे हे स्पष्ट करतो, ज्यामुळे डेव्हलपर्सना एजंटचे कथन (narrative) त्याच्या वर्तनापासून कुठे वेगळे झाले याचा स्पष्ट ऑडिट ट्रेल मिळतो.

सिस्टम तयार करताना शिकलेले धडे

  • Validate dependencies early – साइन-अप करण्यासाठी SigNoz ला वर्क ईमेलची आवश्यकता असते. आठवड्यांच्या डेव्हलपमेंटनंतर या अडथळ्याचा सामना करावा लागल्यामुळे रोलआउटला विलंब झाला. सुरुवातीलाच अशा आवश्यकता तपासल्या असत्या तर वेळ वाचला असता.
  • Match deployment environments to runtime needs – मॉनिटरिंग डॅशबोर्ड लोकल मशीनवर सुरळीत चालला, परंतु Vercel वर क्रॅश झाला कारण ते प्लॅटफॉर्म लाँग-रनिंग Python प्रोसेसला सपोर्ट करत नाही. टीमने लाइव्ह मॉनिटरिंगऐवजी प्री-रनिंग सिनेरिओजवर लक्ष केंद्रित केले.
  • Avoid AI-to-AI adjudication – सुरुवातीच्या कल्पनेत एका लँग्वेज मॉडेलला दुसऱ्याच्या सत्यतेवर निर्णय घेण्याची परवानगी दिली होती. टीमने तो दृष्टिकोन सोडून दिला आणि ट्रेस-टू-टेक्स्ट मॅचिंगच्या ठोस पुराव्याला प्राधान्य दिले, जे केवळ संभाव्य आउटपुट देण्याऐवजी पडताळणीयोग्य पुरावा प्रदान करते.

निष्कर्ष

एखादा AI एजंट जो कधीही क्रॅश होत नाही, तो देखील खोटे बोलू शकतो आणि तो खोटेपणा पकडण्याचा एकमेव विश्वासार्ह मार्ग म्हणजे त्याचे शब्द आणि त्याने नोंदवलेल्या प्रत्यक्ष कृती यांची तुलना करणे. प्रत्येक टूल कॉलला OpenTelemetry द्वारे सुसज्ज करून आणि resulting traces चे विश्लेषण करून, टीम्स अदृश्य फसवणूक दृश्य डेटा पॉइंट्समध्ये बदलू शकतात—आणि बजेट आणि ग्राहकांचा विश्वास दोन्ही सुरक्षित ठेवू शकतात.