प्रॉम्प्टमध्ये एजंटची मेमरी ढिगाकार करणे थांबवा
बहुतेक डेव्हलपर्स पुढील प्रॉम्प्टमध्ये सर्व काही जोडत जाऊन एजंट लूप्स (agent loops) तयार करतात.
तुम्ही मागील निरीक्षणे, टूल कॉल्स आणि रिझनिंग ट्रेसेस जोडत राहता. जोपर्यंत प्रॉम्प्ट एका कचरा पेटीसारखा (junk drawer) होत नाही, तोपर्यंत तुम्ही डेटा जोडत राहता. मॉडेलला अधिक माहिती दिसते, पण तुमचे नियंत्रण सुटते. मेमरीचा कोणता भाग विशिष्ट निर्णयासाठी कारणीभूत ठरला, हे तुम्हाला कळत नाही.
AgenticSTS नावाचा एक नवीन शोधनिबंध (paper) वेगळा मार्ग सुचवतो. तो मेमरीला सर्वात मोठ्या कॉन्टेक्स्ट विंडोसाठीची स्पर्धा न मानता एक इंटरफेस म्हणून पाहतो.
हा शोधनिबंध Slay the Spire 2 या गेमचा टेस्टबेड म्हणून वापर करतो. या वातावरणात शेकडो धोरणात्मक निर्णयांची आवश्यकता असते. हा केवळ एक साधा चॅट बॉट नाही.
मुख्य कल्पना ही आहे: मेमरी म्हणजे भविष्यातील निर्णयाला काय पाहण्याची परवानगी आहे, याबद्दलचा एक करार (contract) आहे.
कच्च्या ट्रान्सक्रिप्ट्सऐवजी, लेखक पाच विशिष्ट लेयर्स वापरून नवीन प्रॉम्प्ट्स तयार करतात:
- निश्चित प्रोटोकॉल सूचना (Fixed protocol instructions)
- सध्याची स्थिती आणि ॲक्शन स्कीमा (Current state and action schemas)
- शोधलेले गेम रूल्स (Retrieved game rules)
- मागील रनचे सारांश (Summaries from prior runs)
- ट्रिगर केलेली धोरणात्मक कौशल्ये (Triggered strategic skills)
ही रचना सर्व काही बदलून टाकते. तुम्ही प्रत्येक लेयरची तपासणी करू शकता, तो फ्रीझ करू शकता किंवा अक्षम (disable) करू शकता. तुम्ही मेमरीला डेटाच्या ढिगाऱ्यापासून निवडून घेतलेल्या पुराव्यांमध्ये रूपांतरित करता.
अनेक प्रोडक्शन एजंट फेल्युअर हे मॉडेलचे फेल्युअर नसून कॉन्टेक्स्टचे फेल्युअर असतात. एजंट जुन्या स्थितीमध्ये नवीन स्थिती मिसळतो किंवा कालबाह्य विचार (outdated reflections) पुढे नेतो. जर तुमची एकमेव पॉलिसी अधिक मजकूर जोडण्याची असेल, तर डीबगिंग करणे पुरातत्वशास्त्रासारखे (archaeology) वाटते.
एक टायप्ड मेमरी इंटरफेस तुम्हाला तुलना करण्यासाठी काहीतरी प्रदान करतो.
दीर्घकाळ चालणाऱ्या एजंट्ससाठी, एक मोठी कॉन्टेक्स्ट विंडो ही एक सापळा आहे. ती तथ्ये, कालबाह्य तथ्ये आणि अयशस्वी प्रयत्नांचे मिश्रण बनते. विंडो जितकी मोठी असेल, तितकेच गाळ (sediment) आणि मेमरी यामध्ये गल्लत करणे सोपे जाते.
चांगले एजंट्स तयार करण्यासाठी, या पॅटर्नचे अनुसरण करा:
- स्थिर सूचनांना सध्याच्या स्थितीपासून वेगळे करा
- रूल्स एका रिट्रिव्हल लेयरमध्ये ठेवा
- अनुभव चॅटच्या अवशेषांऐवजी (chat residue) स्पष्ट रेकॉर्ड्स म्हणून साठवा
- वारंवार कराव्या लागणाऱ्या दुरुस्त्यांचे ट्रिगर केलेल्या कौशल्यांमध्ये रूपांतर करा
- टेस्टिंगसाठी प्रत्येक मेमरी लेयर काढण्यायोग्य (removable) बनवा
जर तुम्ही मेमरी लेयर बंद करू शकत नसाल, तर तो खरोखर मदत करतो की नाही हे तुम्हाला कळणार नाही. तुम्हाला फक्त एवढेच समजते की संपूर्ण ढिगारा कधीतरी काम करतो.
एजंट मेमरीकडे केवळ एक 'वाइब्स लेयर' (vibes layer) म्हणून पाहणे थांबवा. अशा प्रणालीकडे वळा जिथे पुढील निर्णयामध्ये नक्की काय जात आहे, ते कुठून आले आहे आणि ते कसे अक्षम करायचे हे तुम्हाला अचूक माहित असेल.
जर तुमचा एजंट त्याला काय आठवण्याची परवानगी होती हे स्पष्ट करू शकत नसेल, तर त्याच्याकडे मेमरी नाही. त्याच्याकडे फक्त बेसमेंट असलेला एक प्रॉम्प्ट आहे.
स्रोत: https://dev.to/komo/stop-dumping-agent-memory-into-the-prompt-58ka
पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi