एजेंट रनटाइम इवेंट मॉडल
एजेंट फ्रेमवर्क के बारे में बहस करना बंद करें।
इंजीनियर अक्सर पूछते हैं कि क्या उन्हें LangChain, CrewAI का उपयोग करना चाहिए, या अपना खुद का बनाना चाहिए। यह गलत सवाल है। असली निर्णय यह है कि आप अपने एजेंट रनटाइम के भीतर पॉलिसी (policy) कहाँ जोड़ते हैं।
फ्रेमवर्क बदलते रहते हैं। पॉलिसी के लिए आर्किटेक्चरल आवश्यकता वही रहती है।
बग्स और सुरक्षा लीक (security leaks) को रोकने के लिए हर प्रोडक्शन एजेंट स्टैक को चार विशिष्ट रनटाइम इवेंट्स की आवश्यकता होती है:
• UserPromptSubmit: प्रॉम्प्ट के मॉडल तक पहुँचने से पहले। इसका उपयोग सीक्रेट्स (secrets) और PII को ब्लॉक करने के लिए करें। • PreToolUse: किसी टूल के चलने से पहले। इसका उपयोग लागत बजट (cost budgets) और टूल व्हाइटलिस्ट (tool whitelists) को लागू करने के लिए करें। • PostToolUse: टूल के परिणाम वापस आने के बाद। इसका उपयोग PII या इंजेक्शन हमलों (injection attacks) की जांच के लिए करें। • Stop: एजेंट के काम पूरा करने के बाद। इसका उपयोग यह सत्यापित करने के लिए करें कि एजेंट ने वास्तव में कार्य पूरा कर लिया है।
प्रत्येक इवेंट का काम अलग होता है।
प्रॉम्प्ट सबमिशन तेज़ होना चाहिए। इसे मिलीसेकंड में चलना चाहिए ताकि उपयोगकर्ता को इंतज़ार न करना पड़े। Stop इवेंट में अधिक समय लग सकता है। उपयोगकर्ता के परिणाम देखने से पहले, आप यह सत्यापित करने के लिए एक पूरा सेकंड ले सकते हैं कि एजेंट ने वास्तव में अपना काम किया है या नहीं।
आपको यह भी तय करना होगा कि आपके हुक्स (hooks) विफल होने पर क्या होगा।
यदि कोई सुरक्षा हुक क्रैश हो जाता है, तो आपको 'fail closed' (एक्सेस बंद कर देना) करना चाहिए। किसी सीक्रेट को लीक करने की तुलना में अनुरोध को अस्वीकार करना बेहतर है। यदि कोई क्वालिटी चेक क्रैश हो जाता है, तो आप 'fail open' (एक्सेस खुला रखना) चुन सकते हैं ताकि उपयोगकर्ता को प्रतिक्रिया मिलती रहे।
फ्रेमवर्क एक कमोडिटी (commodity) हैं। आपकी पॉलिसी कवरेज ही आपकी असली ताकत (moat) है।
अपने वर्तमान स्टैक के बारे में खुद से ये तीन सवाल पूछें:
- कौन सा इवेंट प्रॉम्प्ट में सीक्रेट लीक को रोकता है?
- कौन सा इवेंट किसी एजेंट द्वारा कार्य पूरा करने के बारे में झूठ बोलने को पकड़ता है?
- मॉडल द्वारा उन्हें पढ़ने से पहले कौन सा इवेंट PII के लिए टूल आउटपुट का ऑडिट करता है?
यदि आप इनका उत्तर नहीं दे सकते, तो आपका एजेंट प्रोडक्शन के लिए तैयार नहीं है।
स्रोत: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi