𝗧𝗵𝗲 𝗔𝗴𝗲𝗻𝘁𝗶𝗰 𝗔𝗜 𝗚𝗼𝘃𝗲𝗿𝗻𝗮𝗻𝗰𝗲 𝗙𝗿𝗮𝗺𝗲𝘄𝗼𝗿𝗸
स्थिर PDF नीतियां गतिशील AI एजेंटों को नियंत्रित नहीं कर सकतीं। यदि आपको प्रत्येक एजेंट एक्शन के लिए मैन्युअल अनुमोदन (manual approval) की आवश्यकता है, तो आप अपनी गति खो देंगे।
स्केल करने के लिए, आपको Human-in-the-Loop (HITL) से Human-on-the-Loop (HOTL) की ओर बढ़ना होगा। HITL में, इंसान बाधा (bottlenecks) बन जाते हैं। HOTL में, इंसान आर्किटेक्ट के रूप में कार्य करते हैं जो गार्डरेल्स (guardrails) बनाते हैं और सिस्टम की निगरानी करते हैं।
स्वायत्तता स्पेक्ट्रम (The Autonomy Spectrum)
आपको एक प्रोक्योरमेंट (procurement) एजेंट को DevOps एजेंट के समान नहीं मानना चाहिए। अपने एजेंटों को उनके निर्णय लेने के अधिकार के आधार पर वर्गीकृत करें:
• सलाहकार (कम स्वायत्तता): एजेंट कार्यों का सुझाव देता है। इंसान उन्हें निष्पादित करता है। • अर्ध-स्वायत्त (मध्यम स्वायत्तता): एजेंट एक सुरक्षित क्षेत्र (safe zone) के भीतर कार्य करता है। यह केवल तभी मदद मांगता है जब यह किसी सीमा तक पहुँच जाता है। • पूर्णतः स्वायत्त (उच्च स्वायत्तता): एजेंट एक सैंडबॉक्स (sandbox) के भीतर शुरू से अंत तक लक्ष्यों का प्रबंधन करता है।
उदाहरण: एक सपोर्ट एजेंट $50 तक रिफंड जारी कर सकता है। यदि अनुरोध $51 का है, तो एजेंट को रुकना होगा और इंसान से पूछना होगा। यह अधिकार के विचलन (authority drift) को रोकता है।
सुरक्षा के लिए प्रॉम्प्ट्स पर निर्भर रहना बंद करें
सिस्टम प्रॉम्प्ट सुझाव होते हैं, नियम नहीं। वे संभाव्य (probabilistic) होते हैं। प्रोडक्शन में, एक सुझाव एक भेद्यता (vulnerability) है। आपको तर्क (reasoning) को प्रवर्तन (enforcement) से अलग करना चाहिए।
एक लेयर्ड डिफेंस (layered defense) का उपयोग करें:
- प्रॉम्प्ट लेयर: इरादा (intent) और दिशानिर्देश प्रदान करती है।
- गार्डरेल लेयर: एक नियतात्मक (deterministic) मिडलवेयर जो सख्त नियमों के विरुद्ध कार्यों को मान्य करता है।
- API लेयर: संसाधन स्तर पर पहचान और एक्सेस प्रबंधन (identity and access management) को लागू करती है।
यह सेटअप प्रॉम्प्ट इंजेक्शन (prompt injection) को रोकता है। यदि गार्डरेल मिडलवेयर स्तर पर है, तो प्रॉम्प्ट में कोई भी चालाकी काम नहीं करेगी।
ऑब्जर्वेबिलिटी और किल स्विच (Observability and the Kill Switch)
मानक लॉग पर्याप्त नहीं हैं। आपको चेन-ऑफ-थॉट (Chain-of-Thought - CoT) को लॉग करने की आवश्यकता है। आपको पता होना चाहिए कि एजेंट ने किसी कार्य को सही क्यों समझा।
मल्टी-एजेंट वर्कफ़्लो में कैस्केडिंग विफलताओं (cascading failures) को रोकने के लिए, एक किल स्विच प्रोटोकॉल (Kill Switch Protocol) लागू करें। इसमें निम्नलिखित होना चाहिए:
- सभी सक्रिय टोकन रद्द करें।
- सभी निष्पादन थ्रेड्स (execution threads) को समाप्त करें।
- ऑडिट के लिए स्थिति (state) को फ्रीज करें।
- पिछले पांच तर्क चरणों (reasoning steps) के साथ एक इंजीनियर को सूचित करें।
डायनेमिक परमिशनिंग (Dynamic Permissioning)
एजेंटों के पास शून्य स्थायी विशेषाधिकार (standing privileges) होने चाहिए। जस्ट-इन-टाइम (JIT) एक्सेस का उपयोग करें। एक एजेंट केवल तभी एक अल्पकालिक टोकन का अनुरोध करता है जब उसे किसी विशिष्ट API को कॉल करने की आवश्यकता होती है। यह सुनिश्चित करता है कि एजेंट की पहचान मानव-अनुमोदित इरादे से जुड़ी रहे।
प्लेटफॉर्म इंजीनियरों के लिए मुख्य बातें:
- शासन को प्रॉम्प्ट्स के बजाय मिडलवेयर में स्थानांतरित करें।
- सुरक्षा खामियों को रोकने के लिए JIT एक्सेस लागू करें।
- केवल इनपुट और आउटपुट ही नहीं, बल्कि तर्क करने के चरणों (reasoning steps) को भी लॉग करें।
- रिकर्सिव लूप विफलताओं को रोकने के लिए हार्ड टोकन कैप्स का उपयोग करें।
स्रोत: https://dev.to/omnithium/the-agentic-ai-governance-framework-balancing-autonomy-and-control-2occ
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi