संस्था स्वायत्त AI एजंट्स तैनात करण्यासाठी स्पर्धा करत आहेत, परंतु अंतर्गत चाचण्या आणि वास्तविक जगातील कामगिरी यांच्यात एक धोकादायक तफावत निर्माण होत आहे. संस्था एजंट्सना अधिक स्वायत्तता देत आहेत, परंतु गव्हर्नन्स फ्रेमवर्क ग्राहकांशी संवाद साधताना होणाऱ्या चुकांचा अंदाज घेण्यात अपयशी ठरत आहेत.

वास्तव-सुसंगतता समस्या (The Reality-Alignment Problem)

VentureBeat Pulse संशोधनात एंटरप्राइझ AI मध्ये एक धक्कादायक "मूल्यांकन तफावत" (evaluation gap) समोर आली आहे. ५०% कंपन्यांनी असा AI एजंट किंवा LLM फीचर लाँच केला जो प्रत्येक अंतर्गत मूल्यमापनात यशस्वी झाला होता, परंतु प्रत्यक्ष ग्राहकाने त्याचा वापर करताच तो अपयशी ठरला.

यापेक्षाही वाईट म्हणजे, त्यापैकी २४% कंपन्यांमध्ये तीच चूक पुन्हा पुन्हा घडली, ज्यामुळे गुंतागुंतीच्या 'एज केसेस'चे (edge cases) अनुकरण करण्यात असलेली दीर्घकालीन अक्षमता दिसून येते. चुका अनेकदा केवळ चुकीच्या उत्तरांमुळे नसून तुटलेल्या तर्कसाखळीमुळे (broken reasoning chains) होतात, ज्यावरून असे दिसून येते की सध्याचे बेंचमार्क 'एजन्टिक वर्कफ्लो'मधील (agentic workflows) अनपेक्षितता ओळखण्यात अपयशी ठरत आहेत.

स्वयंचलित मूल्यमापनातील विश्वासाचे संकट

सर्वेक्षण केलेल्या संस्थांपैकी केवळ ५% संस्था आज स्वयंचलित मूल्यमापनावर (automated evaluations) पूर्ण विश्वास ठेवतात. हा अविश्वास दोन तांत्रिक त्रुटींमुळे आहे:

  • वास्तविक जगाशी सुसंगततेचा अभाव: २९% नेत्यांचे म्हणणे आहे की त्यांचे मूल्यांकन ग्राहकांशी होणाऱ्या प्रत्यक्ष संवादाचे प्रतिबिंब दर्शवत नाही.
  • पूर्वग्रह आणि विसंगती: २१% कंपन्यांनी त्यांच्या टेस्टिंग फ्रेमवर्कमधून कल असलेले (skewed) किंवा अस्थिर निकाल मिळाल्याचे सांगितले आहे.

इव्हॅल्युएशन स्टॅक विखुरलेला आहे. अनेक कंपन्या केवळ मॉडेल डेव्हलपर्सच्या नेटिव्ह टूल्सवर अवलंबून आहेत; १७% कंपन्यांकडे कोणतेही समर्पित इव्हॅल्युएशन टूलिंग नाही. साधारणपणे एक चतुर्थांश कंपन्या लाइव्ह ट्रॅफिकवर रिअल-टाइम गुणवत्ता तपासणी करतात, तर बहुतांश कंपन्या समस्या ग्राहकांपर्यंत पोहोचल्यानंतरच त्या शोधून काढतात.

स्वायत्ततेचा वेग विरुद्ध हमी देण्याचा मंद वेग

दोन तृतीयांश (६६%) संस्था 'झिरो-ह्युमन-इन-द-लूप' (zero-human-in-the-loop) उपयोजनाकडे वळत आहेत. ३४% कंपन्या कमी जोखमीच्या एजंट्ससाठी आधीच पूर्णपणे स्वयंचलित रोलआउटला परवानगी देत आहेत, आणि आणखी ३३% कंपन्या पुढील बारा महिन्यांत त्या टप्प्यावर पोहोचण्यासाठी पाइपलाइन तयार करत आहेत.

एजंट्सना निर्णय घेण्याची शक्ती, त्यांच्यावर देखरेख ठेवण्यासाठी आणि त्यांना सुधारण्यासाठी तयार केलेल्या यंत्रणांपेक्षा वेगाने मिळत आहे. बाजारपेठेची आता अशी मागणी आहे की, स्थिर बेंचमार्कऐवजी लाइव्ह आणि अनपेक्षित वापरकर्त्यांच्या वर्तनावर आधारित एजंट्सची पडताळणी करणारे विशेष ऑब्झर्व्हेबिलिटी आणि इव्हॅल्युएशन प्लॅटफॉर्म्स उपलब्ध असावेत.

मुख्य निष्कर्ष

  • यशाचा विरोधाभास: ५०% संस्थांनी असे एजंट्स लाँच केले जे अंतर्गत चाचण्यांत यशस्वी झाले पण प्रत्यक्ष वापरामध्ये (production) अपयशी ठरले.
  • विश्वासाची कमतरता: केवळ ५% संस्था स्वयंचलित मूल्यमापनावर पूर्ण विश्वास ठेवतात, कारण चाचण्या वास्तविक जगातील परिणामांशी सुसंगत नाहीत.
  • स्वायत्ततेची स्पर्धा: ६६% कंपन्या आधीच 'झिरो-ह्युमन-इन-द-लूप' उपयोजन वापरत आहेत किंवा त्याचे नियोजन करत आहेत.

VentureBeat Pulse संशोधन असे दर्शवते की, अंतर्गत चाचण्या पार करणारे निम्म्या एंटरप्राइझ AI एजंट्स प्रत्यक्ष ग्राहकाला भेटताच अडखळतात, जे कंपन्या पूर्णपणे स्वायत्त उपयोजनांकडे वेगाने वळत असताना वाढती "मूल्यांकन तफावत" अधोरेखित करते.

या अभ्यासात अशा कंपन्यांचे सर्वेक्षण करण्यात आले ज्यांनी LLM-आधारित एजंट्स लाँच केले आहेत किंवा करत आहेत. असे दिसून आले की, ५०% प्रतिसाददात्यांनी असा एजंट लाँच केला जो प्रत्येक अंतर्गत बेंचमार्कमध्ये यशस्वी झाला होता, परंतु प्रत्यक्ष वापरामध्ये तो अपयशी ठरला. अतिरिक्त २४% कंपन्यांनी हीच चूक एकापेक्षा जास्त वेळा घडल्याचे सांगितले, ज्यामुळे हे स्पष्ट होते की ही समस्या आजच्या टेस्टिंग पद्धतींमधील एक वारंवार येणारी त्रुटी आहे.

अंतर्गत चाचण्या का अपयशी ठरतात

ही तफावत केवळ व्याप्तीबद्दल (coverage) नाही. प्रतिसाददात्यांनी लॅब सिम्युलेशन्स आणि वास्तविक जगातील संवादांमधील गुंतागुंत यांच्यातील खोल विसंगतीवर प्रकाश टाकला. चुका अनेकदा केवळ चुकीच्या उत्तरांमुळे नसून तुटलेल्या तर्कसाखळीमुळे—अशी परिस्थिती जिथे एजंटचे अंतर्गत तर्क अपेक्षित निकालांपासून विचलित होतात—निर्माण होतात.

दोन तांत्रिक त्रुटी प्रामुख्याने तक्रारींमध्ये दिसून येतात:

  • वास्तविक जगाशी सुसंगततेचा अभाव – २९% नेत्यांनी सांगितले की, जेव्हा ग्राहक एजंटशी संवाद साधतो तेव्हा प्रत्यक्षात जे घडते, त्याचे प्रतिबिंब त्यांच्या मूल्यमापनात उमटत नाही.
  • पूर्वग्रह आणि विसंगती – २१% लोकांनी नमूद केले की त्यांच्या टेस्टिंग फ्रेमवर्कमधून कल असलेले किंवा अस्थिर निकाल मिळतात, ज्यामुळे त्यांच्या मोजमापांवरील (metrics) विश्वास कमी होतो.

या समस्येला अधिक बळ मिळते ते म्हणजे विखुरलेला इव्हॅल्युएशन स्टॅक. अनेक संस्था केवळ मॉडेल विक्रेत्यांनी पुरवलेल्या नेटिव्ह टूल्सवर अवलंबून आहेत, तर १७% कंपन्या कबूल करतात की त्यांच्याकडे कोणतेही समर्पित इव्हॅल्युएशन टूलिंग नाही. केवळ सुमारे एक चतुर्थांश कंपन्या लाइव्ह ट्रॅफिकवर रिअल-टाइम गुणवत्ता तपासणी करतात, ज्यामुळे बहुतांश कंपन्यांना समस्या ग्राहकांपर्यंत पोहोचल्यानंतरच समजतात.

विश्वासाची मोठी कमतरता

सर्वेक्षण केलेल्या केवळ ५% कंपन्या म्हणतात की त्यांना आज स्वयंचलित मूल्यमापनावर पूर्ण विश्वास आहे. विश्वासाचा हा अभाव वरील सुसंगतता आणि पूर्वग्रह समस्यांचा थेट परिणाम आहे. जेव्हा एखादी टेस्ट सूट प्रत्यक्ष वापराच्या वर्तनाचा विश्वासार्हतेने अंदाज लावू शकत नाही, तेव्हा अधिकारी एजंट्सना मानवी देखरेखीशिवाय काम करण्याची परवानगी देण्यास कचरतात.

स्वायत्तता ही सुरक्षा सुनिश्चिततेपेक्षा वेगाने वाढत आहे

चाचणीवरील कमी विश्वास असूनही, स्वायत्ततेसाठीचा प्रयत्न अथक आहे. दोन तृतीयांश प्रतिसादकर्ते—६६%—'zero-human-in-the-loop' उपयोजनांकडे वळत आहेत. त्या गटातील ३४% आधीच कमी जोखमीच्या एजंट्ससाठी पूर्णपणे स्वयंचलित rollout ला परवानगी देत आहेत, आणि आणखी ३३% पुढील बारा महिन्यांत याच टप्प्यावर पोहोचण्यासाठी pipelines तयार करत आहेत.

एजंट्सना त्यांच्यावर देखरेख ठेवण्यासाठी आणि त्यांना सुधारण्यासाठी तयार केलेल्या यंत्रणांपेक्षा अधिक वेगाने निर्णय घेण्याची शक्ती मिळत आहे. बाजारपेठेतील परिणाम स्पष्ट आहेत: विशेष observability आणि evaluation प्लॅटफॉर्म्सची वाढती मागणी, जे एजंट्सची पडताळणी स्थिर benchmarks पेक्षा थेट आणि अनपेक्षित वापरकर्त्याच्या वर्तनानुसार करू शकतील.