AI एजेंट जो API कॉल कर सकते हैं, सिस्टम कमांड चला सकते हैं या फाइलों में बदलाव कर सकते हैं, अब उपयोगकर्ताओं की ओर से कार्य करते हैं। जब वे एजेंट किसी अनुरोध को बहुत शाब्दिक रूप से लेते हैं – जैसे "सोने का पहाड़" देना जिससे घर ढह जाए – तो परिणाम विनाशकारी, अनैतिक या बस बेकार हो सकता है। शोधकर्ता Genie coefficient नामक एक नए प्रस्तावित मीट्रिक के साथ इस कमी को पूरा कर रहे हैं, जो यह मापता है कि किसी एजेंट का आउटपुट उपयोगकर्ता के वास्तविक इरादे से कितना भटकता है।

अब अपर्याप्त विवरण (underspecification) क्यों महत्वपूर्ण है

केवल चैट करने वाले बॉट्स से लेकर दुनिया में कार्य करने वाले एजेंटों तक का सफर भाषा-मॉडल की समस्या को सुरक्षा की समस्या में बदल देता है। एक मॉडल अभी भी प्रवाहपूर्ण टेक्स्ट जेनरेट कर सकता है, लेकिन एक बार जब यह API कॉल या शेल कमांड जारी करना शुरू कर देता है, तो शाब्दिक व्याख्या वास्तविक दुनिया में नुकसान पहुंचा सकती है। चूंकि मॉडल में 'प्रैग्मैटिक्स' (pragmatics) – यानी संदर्भ, उचित अपेक्षाओं और अनकही सीमाओं का अनुमान लगाने की क्षमता – की कमी होती है, इसलिए यह शब्दों का पालन तो कर सकता है लेकिन उनके पीछे के उद्देश्य को धोखा दे सकता है। "जिनी" (genie) का उदाहरण इसे बखूबी दर्शाता है: एक ऐसी इच्छा पूरी करना जो शाब्दिक अनुरोध को तो पूरा करती है लेकिन इच्छा करने वाले के गहरे लक्ष्य को नजरअंदाज कर देती है।

Genie coefficient क्या मापता है

यह गुणांक कोई एकल बेंचमार्क संख्या नहीं है; यह इच्छित परिणाम और एजेंट के वास्तविक व्यवहार के बीच के अंतर का आकलन करने के लिए एक ढांचा है। यह चार स्तंभों पर टिका है:

  • डोमेन-विशिष्ट बेंचमार्क जो उन कार्यों को दर्शाते हैं जिनका सामना एक एजेंट किसी दिए गए क्षेत्र में करेगा।
  • सिम्युलेटेड वास्तविक दुनिया के वातावरण जहाँ शॉर्टकट, एज केस (edge cases) और अनपेक्षित दुष्प्रभाव सामने आते हैं।
  • AI कार्यों के लिए एक विवेकशील व्यक्ति का मानक (reasonable-person standard), जिसे कानूनी अवधारणाओं से लिया गया है कि एक समझदार व्यक्ति उसी स्थिति में क्या करेगा।
  • मॉडल और सॉफ्टवेयर हार्नेस का संयुक्त मूल्यांकन, यह पहचानते हुए कि आसपास के कोड में बग मॉडल की त्रुटियों जितने ही खतरनाक हो सकते हैं।

इन तत्वों को लागू करने से डेवलपर्स एक ऐसा Genie coefficient निर्धारित कर सकते हैं जो सिमेंटिक शुद्धता और व्यावहारिक सुरक्षा दोनों को कैप्चर करता है।

डेवलपर्स और उपयोगकर्ताओं के लिए जोखिम

एक उच्च गुणांक संकेत देता है कि एक एजेंट कमांड के शब्दों का पालन तो करेगा लेकिन उसकी भावना का उल्लंघन करेगा, जिससे उपयोगकर्ता वित्तीय हानि, डेटा उल्लंघन या नियामक दंड के जोखिम में पड़ सकते हैं। एक कम गुणांक दिखाता है कि सिस्टम निहित सीमाओं का सम्मान करता है, जिससे वित्त, स्वास्थ्य सेवा या महत्वपूर्ण बुनियादी ढांचे जैसे उच्च-जोखिम वाले क्षेत्रों में तैनाती अधिक व्यवहार्य हो जाती है।

यह मीट्रिक प्रोडक्ट टीमों को एक डायग्नोस्टिक टूल भी देता है: वे निर्देश-स्तर की विफलताओं (मॉडल ने प्रॉम्प्ट को गलत समझा) को तकनीकी गलत व्यवहार (आसपास के कोड ने API कॉल को गलत रूट किया) से अलग कर सकते हैं। डिबगिंग, अनुपालन रिपोर्टिंग और लागत आवंटन के लिए यह अंतर महत्वपूर्ण है।

प्रतिवाद और खुले प्रश्न

आलोचकों का कहना है कि इरादे को मापना व्यक्तिपरक है और विकास चक्र को धीमा कर सकता है। हर डोमेन के लिए "विवेकशील व्यक्ति" का आधार तैयार करने के लिए व्यापक कानूनी और नैतिक विशेषज्ञता की आवश्यकता हो सकती है, जिससे मॉडल मूल्यांकन का बोझ बढ़ सकता है। यह जोखिम भी है कि टीमें इस गुणांक को गहरे सिस्टम रीडिजाइन के मार्गदर्शन के बजाय केवल एक चेकबॉक्स की तरह मान लें।

आगे क्या देखने की जरूरत है

अगले चरणों में Genie coefficient को मौजूदा AI टेस्टिंग पाइपलाइनों में जोड़ना और उन बेंचमार्क सूट्स को मानकीकृत करना शामिल है जो इसे फीड करते हैं। यदि उद्योग समूह इसे सुरक्षा आधार रेखा (safety baseline) के रूप में अपनाते हैं, तो एजेंटों के ग्राहकों तक पहुँचने से पहले प्रमाणन कार्यक्रमों में एक निश्चित थ्रेशोल्ड गुणांक की आवश्यकता हो सकती है। शोधकर्ता संभवतः 'विवेकशील व्यक्ति' की परिभाषा को और परिष्कृत करेंगे और विश्वसनीय माप के लिए आवश्यक सिम्युलेटेड वातावरण बनाने के स्वचालित तरीकों की खोज करेंगे।

निष्कर्ष: जैसे-जैसे AI एजेंट टेक्स्ट से एक्शन की ओर बढ़ रहे हैं, यह मापना आवश्यक हो जाता है कि वे उपयोगकर्ता वास्तव में क्या चाहते हैं – न कि केवल वे क्या कहते हैं – इसे कितनी अच्छी तरह समझते हैं। Genie coefficient उस माप को व्यवहार में लाने का एक ठोस और निरंतर विकसित होने वाला तरीका प्रदान करता है।