एक एजेंट हार्नेस की संरचना
आपने एक चैटबॉट बनाया। आपने कुछ टूल्स और एक साधारण लूप जोड़ा। यह डेमो के लिए तो काम करता है। फिर आप इसे प्रोडक्शन में ले जाने की कोशिश करते हैं और सब कुछ टूट जाता है।
मॉडल पिछले चरणों को भूल जाता है। टूल कॉल्स बिना किसी चेतावनी के विफल हो जाते हैं। कॉन्टेक्स्ट विंडो बेकार डेटा से भर जाती है।
समस्या आपका मॉडल नहीं है। समस्या इसके आसपास का इंफ्रास्ट्रक्चर है।
इस इंफ्रास्ट्रक्चर को एजेंट हार्नेस (agent harness) कहा जाता है।
एजेंट व्यवहार है। हार्नेस मशीनरी है। यदि आप मॉडल नहीं हैं, तो आप हार्नेस हैं।
एक रॉ (raw) LLM को CPU की तरह समझें। इसमें कोई RAM, कोई डिस्क और कोई I/O नहीं होता है। हार्नेस ऑपरेटिंग सिस्टम है। यह मॉडल को उपयोगी बनाने के लिए मेमोरी, टूल्स और लॉजिक प्रदान करता है।
एक प्रोडक्शन-ग्रेड हार्नेस के बारह मुख्य घटक होते हैं:
• ऑर्केस्ट्रेशन लूप (Orchestration Loop): यह धड़कन की तरह है। यह Thought-Action-Observation चक्र को प्रबंधित करता है। • टूल लेयर (Tool Layer): ये हाथ हैं। हार्नेस टूल रजिस्ट्रेशन, वैलिडेशन और एक्जीक्यूशन को संभालता है। • मेमोरी (Memory): इसमें शॉर्ट-टर्म हिस्ट्री और विभिन्न सेशन्स के बीच लॉन्ग-टर्म पर्सिस्टेंस शामिल है। • कॉन्टेक्स्ट मैनेजमेंट (Context Management): यह डेटा को कंपैक्ट या समराइज करके कॉन्टेक्स्ट रॉट (context rot) को रोकता है। • प्रॉम्प्ट असेंबली (Prompt Assembly): यह सटीक इनपुट तैयार करता है जिसे मॉडल प्रत्येक चरण में देखता है। • आउटपुट क्लासिफिकेशन (Output Classification): यह तय करता है कि मॉडल बात करना चाहता है या किसी टूल का उपयोग करना चाहता है। • स्टेट मैनेजमेंट (State Management): यह एजेंट को त्रुटि या रुकावट के बाद काम फिर से शुरू करने की अनुमति देता है। • एरर हैंडलिंग (Error Handling): यह विफलताओं को पकड़ता है ताकि त्रुटियां बढ़ती न जाएं। • गार्डरेल्स (Guardrails): ये असुरक्षित या गलत कार्यों को रोकने के लिए ट्रिपवायर के रूप में कार्य करते हैं। • परमिशन एनफोर्समेंट (Permission Enforcement): यह मॉडल जो करना चाहता है और जिसे करने की उसे अनुमति है, उसके बीच अंतर करता है। • वेरिफिकेशन लूप्स (Verification Loops): यह मॉडल को गुणवत्ता सुधारने के लिए अपने काम की स्वयं जांच करने देता है। • एजेंट हैंडऑफ्स (Agent Handoffs): यह प्रबंधित करता है कि एक एजेंट दूसरे को काम कैसे सौंपता है।
अच्छी इंजीनियरिंग का लक्ष्य हार्नेस को जितना संभव हो सके उतना हल्का (thin) रखना है। जैसे-जैसे मॉडल स्मार्ट होते जाएंगे, आपको कम स्कैफोल्डिंग (scaffolding) की आवश्यकता होगी।
जब आपका एजेंट विफल हो जाए, तो मॉडल को दोष न दें। अपने हार्नेस को देखें।
Source: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j
Optional learning community: https://t.me/GyaanSetuAi