एजंट लूप (Agent Loop) समजून घेणे
जर तुम्ही tool-calling मॉडेल्स वापरून काही तयार करत असाल, तर तुमचा सर्वात महत्त्वाचा निर्णय प्रॉम्प्ट (prompt) नसून मॉडेलभोवती असलेला लूप (loop) हा आहे.
एक LLM एखादे टूल वापरण्याचा निर्णय घेते, परंतु ते स्वतः ते टूल चालवू शकत नाही. ॲप्लिकेशन किंवा SDK ने संदर्भ (context) एकत्र करणे, टूल चालवणे आणि त्याचे निकाल जोडणे आवश्यक असते. ही चक्राकार प्रक्रिया म्हणजे 'agent loop' आहे.
मॉडेल ही प्रणालीचा केवळ एक भाग आहे. harness किंवा SDK ऑर्केस्ट्रेशन (orchestration) व्यवस्थापित करते. यामध्ये प्रॉम्प्ट असेंब्ली, टूल एक्झिक्यूशन, रिट्रायज (retries) आणि टर्मिनेशन यांचा समावेश होतो.
विश्वासार्ह एजंट्स तयार करण्यासाठी महत्त्वाच्या संकल्पना:
- स्टेट मॅनेजमेंट (State management) अत्यंत महत्त्वाचे आहे. जर तुम्ही टूलचे आउटपुट गमावले, तर एजंट काय घडले हे विसरून जातो.
- परफॉर्मन्स हा प्रॉम्प्टच्या वाढत्या आकारावर (prompt growth) अवलंबून असतो. खर्च कमी ठेवण्यासाठी स्थिर प्रीफिक्स (prefixes) आणि कॅशिंगचा (caching) वापर करा.
- सुरक्षिततेसाठी व्हॅलिडेशन (validation) आवश्यक आहे. डेटा बदलणाऱ्या कृतींसाठी अप्रूव्हल गेट्स (approval gates) वापरा.
- मॉडेल नाही, तर harness मॉडेलचे लाइफसायकल (lifecycle) व्यवस्थापित करते.
लूपसाठी एक व्यावहारिक मेंटल मॉडेल:
- इनपुट स्टेट तयार करा.
- मॉडेलला कॉल करा.
- प्रतिसादाची (response) तपासणी करा.
- जर मॉडेलने टूल्सची मागणी केली, तर त्यांचे व्हॅलिडेशन करा आणि ते कार्यान्वित (execute) करा.
- टूलचे निकाल पुन्हा संदर्भात (context) जोडा.
- मॉडेलला पुन्हा कॉल करा.
- मॉडेलने अंतिम उत्तर दिल्यावरच थांबवा.
दोन प्रणाली एकाच मॉडेलचा वापर करू शकतात परंतु त्यांचे वर्तन वेगळे असू शकते. असे घडते कारण त्यांचे harness संदर्भ, टूलचा क्रम आणि इतिहास याबद्दल वेगवेगळे निर्णय घेतात.
या सामान्य समस्यांकडे लक्ष द्या:
- पुनरावृत्ती होणारे वर्तन (Repetitive behavior): सहसा स्टेट कंटिन्यूइटी (state continuity) खंडित झाल्यामुळे होते.
- कमी गुणवत्ता (Low quality): अनेकदा टूलचे आउटपुट खूप मोठे किंवा गोंधळलेले (noisy) असल्यामुळे होते.
- उच्च खर्च (High costs): सहसा प्रॉम्प्टच्या चुकीच्या क्रमामुळे (prompt ordering) कॅशिंगमध्ये अडथळा येतो आणि खर्च वाढतो.
- असुरक्षित कृती (Unsafe actions): जेव्हा तुम्ही टूल कार्यान्वित करण्यापूर्वी त्याचे आर्ग्युमेंट्स (arguments) व्हॅलिडेट करत नाही, तेव्हा असे घडते.
मॉडेल कृती निवडते. harness वास्तवावर नियंत्रण ठेवते. जर तुम्हाला अधिक चांगली प्रणाली हवी असेल, तर फक्त प्रॉम्प्टमध्ये बदल करू नका. एक चांगला लूप तयार करा.
Optional learning community: https://t.me/GyaanSetuAi