How Much Autonomy Should Your AI Agent Have?

लोग Agentic AI को अधिक स्वायत्तता (autonomy) की दौड़ के रूप में देखते हैं।

वे अधिक टूल्स चाहते हैं। अधिक तर्क (reasoning)। अधिक स्वतंत्रता।

सॉफ्टवेयर इंजीनियर इस तरह काम नहीं करते हैं। हम माइक्रोसर्विसेज केवल इसलिए नहीं बनाते क्योंकि वे लोकप्रिय हैं। हम ऐसे सिस्टम बनाते हैं जो क्षमता (capability) और जटिलता (complexity) के बीच संतुलन बनाए रखते हैं।

AI एजेंटों के लिए भी यही दृष्टिकोण आवश्यक है।

सवाल यह नहीं है कि एक एजेंट कितना स्वायत्त हो सकता है। सवाल यह है कि एक एजेंट को कितना स्वायत्त होना चाहिए।

स्वायत्तता एक डिज़ाइन संबंधी निर्णय है। हर बार जब एक एजेंट कोई निर्णय लेता है, तो आप उसकी जिम्मेदारी बढ़ा देते हैं।

उच्च स्वायत्तता एक एजेंट को नई स्थितियों के अनुकूल होने में मदद करती है। यह एजेंट को निरंतर मार्गदर्शन के बिना लक्ष्यों तक पहुँचने में मदद करती है।

लेकिन उच्च स्वायत्तता एजेंट को प्रेडिक्ट (predict) और डिबग (debug) करना कठिन बना देती है। इससे उस पर भरोसा करना भी मुश्किल हो जाता है।

स्वायत्तता एक स्पेक्ट्रम (spectrum) है।

  • कम स्वायत्तता: वे सिस्टम जो केवल टेक्स्ट जनरेट करते हैं।
  • मध्यम स्वायत्तता: वे सिस्टम जो कार्यों का सुझाव देते हैं और टूल्स का उपयोग करते हैं।
  • उच्च स्वायत्तता: वे सिस्टम जो कम मानवीय सहायता के साथ लक्ष्य तक पहुँचने का निर्णय लेते हैं।

प्रत्येक चरण क्षमता और जटिलता को बढ़ाता है। आपको वहीं रुक जाना चाहिए जहाँ आपकी समस्या की आवश्यकता हो।

एक HR असिस्टेंट पर विचार करें। यह पॉलिसी संबंधी सवालों के जवाब देता है। इसे कर्मचारी रिकॉर्ड बदलने की अनुमति देना, बिना अधिक मूल्य जोड़े, जोखिम बढ़ा देता है।

अब एक ऑपरेशंस एजेंट पर विचार करें। यह प्रोडक्शन घटनाओं (incidents) की जांच करता है। इसे लॉग्स चेक करने चाहिए और डॉक्यूमेंटेशन खोजना चाहिए। इसे जो कुछ भी मिलता है, उसके आधार पर अपनी खोज को अनुकूलित करने की आवश्यकता होती है। यहाँ एक फिक्स्ड वर्कफ़्लो (fixed workflow) विफल हो जाता है। अधिक स्वायत्तता इस समाधान को बेहतर बनाती है।

समस्या ही स्वायत्तता के स्तर को निर्धारित करती है।

सफल प्रोडक्शन सिस्टम अक्सर जानबूझकर सीमित (constrained) रखे जाते हैं। इसे 'बाउंडेड ऑटोनॉमी' (bounded autonomy) कहा जाता है। सिस्टम को विश्वसनीय बनाए रखने के लिए आप सीमाएं निर्धारित करते हैं।

सीमाओं के उदाहरण:

  • टूल एक्सेस को प्रतिबंधित करना
  • कार्य के दायरे को सीमित करना
  • बड़े कार्यों के लिए मानवीय अनुमोदन (human approval) की आवश्यकता
  • खर्च की सीमा तय करना
  • यह परिभाषित करना कि कब किसी इंसान को एस्केलेट (escalate) करना है

ये सीमाएं आपके एजेंट को अधिक प्रेडिक्टेबल (predictable) बनाती हैं।

अधिक स्वायत्तता देने से पहले, ये सवाल पूछें:

  • क्या एक फिक्स्ड वर्कफ़्लो इसे हल कर सकता है?
  • क्या अगला कदम अज्ञात जानकारी पर निर्भर है?
  • यदि एजेंट विफल हो जाता है तो क्या होगा?
  • क्या आप जोखिम भरे कार्यों को कम जोखिम वाले तर्क (reasoning) से अलग कर सकते हैं?

बेहतरीन इंजीनियर स्वायत्तता को अधिकतम नहीं करते हैं। वे सटीक रूप से तय करते हैं कि यह कहाँ शुरू होती है और कहाँ समाप्त होती है।

अच्छा आर्किटेक्चर वही करने के बारे में है जो आवश्यक है और उससे अधिक कुछ नहीं।

Source: https://dev.to/rohith_kn/how-much-autonomy-should-your-ai-agent-have-4h4n