सैंडबॉक्स से परे: टिकाऊ AI एजेंट बनाना
प्रोडक्शन AI एजेंटों के लिए केवल सैंडबॉक्स पर्याप्त नहीं हैं।
अधिकांश डेवलपर्स एजेंटों को मेमोरी में एक साधारण लूप के रूप में बनाते हैं। LLM देखता है, निर्णय लेता है, कार्य करता है, और दोहराता है। यह लैब में तो काम करता है, लेकिन वास्तविक दुनिया में विफल हो जाता है।
मेमोरी लूप क्यों विफल हो जाता है?
- लंबे कार्य: यदि किसी एजेंट को पूरा होने में दिनों का समय लगता है या किसी कार्य को स्वीकृत करने के लिए मानव की प्रतीक्षा करनी पड़ती है, तो एक प्रक्रिया को चलते रहने देने से CPU और मेमोरी बर्बाद होती है।
- क्रैश रिकवरी का अभाव: यदि सिस्टम क्रैश हो जाता है या नेटवर्क कट जाता है, तो आप पूरा स्टेट (state) खो देते हैं। आप वहीं से फिर से शुरू नहीं कर सकते जहाँ आपने छोड़ा था।
- जटिलता: भारी मात्रा में अतिरिक्त कोड के बिना कई एजेंटों के लिए एक-दूसरे से बात करना मुश्किल होता है।
Orkes के CTO, Virein Baraiya, एक बेहतर तरीका सुझाते हैं। अपने कार्यों को अलग करें (Separate your concerns)।
केवल कार्यों के लिए सैंडबॉक्स का उपयोग करें। जोखिम भरे टूल कोड को सुरक्षित रूप से चलाने के लिए सैंडबॉक्स का उपयोग करें।
तर्क (reasoning) के लिए एक टिकाऊ रनटाइम (durable runtime) का उपयोग करें। LLM योजना प्रदान करता है। रनटाइम सिस्टम निष्पादन (execution) और स्टेट को संभालता है।
वह इसे हल करने के लिए दो टूल पेश करते हैं:
- Netflix Conductor यह एक वर्कफ़्लो इंजन है। यह एक लेज़र (ledger) के रूप में कार्य करता है। यह डेटाबेस में हर LLM कॉल और हर टूल के उपयोग को रिकॉर्ड करता है।
- यह ऑन-डिमांड सस्पेंशन (on-demand suspension) का समर्थन करता है। यदि कोई एजेंट मानव की प्रतीक्षा करता है, तो सिस्टम वर्कफ़्लो को रोक देता है और सभी मेमोरी मुक्त कर देता है।
- यह कार्य पूरा करने के लिए महीनों बाद भी सक्रिय हो सकता है।
- Agent Span यह Conductor के ऊपर बना एक रनटाइम है। यह एक अनुवादक (translator) के रूप में कार्य करता है।
- आप LangGraph या OpenAI SDK जैसे मौजूदा टूल का उपयोग कर सकते हैं।
- Agent Span आपके बिजनेस लॉजिक को दोबारा लिखे बिना आपके एजेंट कोड को टिकाऊ वर्कफ़्लो में बदल देता है।
यह आर्किटेक्चर तीन बड़े लाभ प्रदान करता है:
- गार्डरेल्स (Guardrails): नियम फ्रेमवर्क द्वारा नियंत्रित किए जाते हैं, LLM द्वारा नहीं। यह hallucinations (मतिभ्रम) को नुकसान पहुँचाने से रोकता है।
- पूर्ण ऑडिट: आप महीनों बाद भी देख सकते हैं कि एजेंट ने कोई निर्णय क्यों लिया। आप प्रक्रिया को फिर से चला (replay) भी सकते हैं।
- बेहतर टेस्टिंग: आप एक LLM आउटपुट को बदल सकते हैं और देख सकते हैं कि बाकी सिस्टम कैसे प्रतिक्रिया करता है।
बिल्डर्स के लिए एक अंतिम टिप: बिजनेस कॉन्टेक्स्ट (business context) पर ध्यान केंद्रित करें। मॉडल बदलते हैं। फ्रेमवर्क बदलते हैं। लेकिन जिस विशिष्ट तरीके से आपका व्यवसाय कार्य करता है, वही आपकी असली ताकत (moat) है।
Source: https://dev.to/cognitalk/chao-yue-sha-xiang-wei-ai-agent-gou-jian-chi-jiu-hua-yun-xing-shi-2i9i
Optional learning community: https://t.me/GyaanSetuAi