एजंट हार्नेसची रचना
तुम्ही एक चॅटबॉट तयार केला. तुम्ही त्यात काही टूल्स आणि एक साधा लूप जोडला. तो डेमोसाठी व्यवस्थित चालतो. पण जेव्हा तुम्ही प्रोडक्शनमध्ये जाण्याचा प्रयत्न करता, तेव्हा सर्व काही कोलमडते.
मॉडेल मागील पायऱ्या विसरते. टूल कॉल्स (Tool calls) कोणत्याही पूर्वसूचनेशिवाय अयशस्वी होतात. कॉन्टेक्स्ट विंडो (Context window) निरुपयोगी डेटाने भरून जाते.
समस्या तुमच्या मॉडेलमध्ये नाहीये. समस्या त्याच्या आसपासच्या इन्फ्रास्ट्रक्चरमध्ये आहे.
या इन्फ्रास्ट्रक्चरला 'एजंट हार्नेस' (agent harness) म्हणतात.
एजंट म्हणजे वर्तन (behavior) आहे. हार्नेस म्हणजे यंत्रणा (machinery) आहे. जर तुम्ही मॉडेल नसाल, तर तुम्ही हार्नेस आहात.
एका रॉ (raw) LLM ला CPU प्रमाणे समजा. त्याला RAM, डिस्क किंवा I/O नसते. हार्नेस हे ऑपरेटिंग सिस्टमसारखे असते. मॉडेलला उपयुक्त बनवण्यासाठी ते मेमरी, टूल्स आणि लॉजिक प्रदान करते.
प्रोडक्शन-ग्रेड हार्नेसमध्ये बारा मुख्य घटक असतात:
• ऑर्केस्ट्रेशन लूप (Orchestration Loop): हा हृदयाच्या ठोक्यांसारखा आहे. तो Thought-Action-Observation चक्राचे व्यवस्थापन करतो. • टूल लेअर (Tool Layer): हे हातांसारखे आहेत. हार्नेस टूल रजिस्ट्रेशन, व्हॅलिडेशन आणि एक्झिक्यूशन हाताळते. • मेमरी (Memory): यामध्ये शॉर्ट-टर्म हिस्ट्री आणि विविध सेशन्समधील लाँग-टर्म पर्सिस्टन्सचा समावेश होतो. • कॉन्टेक्स्ट मॅनेजमेंट (Context Management): डेटा कॉम्पॅक्ट किंवा समराईज करून हे कॉन्टेक्स्ट रोट (context rot) रोखते. • प्रॉम्प्ट असेंब्ली (Prompt Assembly): प्रत्येक पायरीवर मॉडेलला दिसणारा नेमका इनपुट तयार करण्याचे काम हे करते. • आउटपुट क्लासिफिकेशन (Output Classification): मॉडेलला संवाद साधायचा आहे की टूल वापरायचे आहे, याचा निर्णय हे घेते. • स्टेट मॅनेजमेंट (State Management): यामुळे त्रुटी किंवा व्यत्ययानंतर एजंटला पुन्हा काम सुरू ठेवता येते. • एरर हँडलिंग (Error Handling): हे त्रुटी पकडते जेणेकरून चुकांची साखळी तयार होणार नाही. • गार्डरेल्स (Guardrails): असुरक्षित किंवा चुकीच्या कृती थांबवण्यासाठी हे ट्रिपवायरसारखे काम करतात. • परमिशन एन्फोर्समेंट (Permission Enforcement): मॉडेलला काय करायचे आहे आणि त्याला काय करण्याची परवानगी आहे, यातील फरक हे स्पष्ट करते. • व्हेरिफिकेशन लूप्स (Verification Loops): यामुळे मॉडेल गुणवत्ता सुधारण्यासाठी स्वतःच्या कामाची तपासणी करू शकते. • एजंट हँडऑफ्स (Agent Handoffs): एक एजंट दुसऱ्या एजंटकडे काम कसे सोपवतो, याचे व्यवस्थापन हे करते.
चांगल्या इंजिनिअरिंगचे ध्येय हार्नेस शक्य तितका 'थिन' (thin) ठेवणे हे आहे. जसजसे मॉडेल्स अधिक स्मार्ट होतील, तसतसे तुम्हाला कमी स्कॅफोल्डिंगची (scaffolding) गरज भासेल.
जेव्हा तुमचा एजंट अपयशी ठरतो, तेव्हा मॉडेलला दोष देऊ नका. तुमच्या हार्नेसकडे पहा.
स्रोत: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j
पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi