संवादादरम्यानचे सिस्टम प्रॉम्प्ट्स
लांब एजंट सेशन्समध्ये (agent sessions) एक स्थिर सिस्टम प्रॉम्प्ट आणि वाढत जाणारा इतिहास (history) वापरला जातो. खर्च कमी ठेवण्यासाठी तुम्ही प्रीफिक्स कॅश (cache) करता.
जेव्हा तुम्हाला सेशिनच्या मध्यभागी नवीन सूचना जोडण्याची गरज पडते, तेव्हा एक समस्या निर्माण होते. तुम्हाला एजंटला भाषा बदलण्यास किंवा एखादी सेटिंग अपडेट करण्यास सांगायचे असते.
जर तुम्ही टॉप-लेव्हल सिस्टम प्रॉम्प्टमध्ये बदल केला, तर कॅश (cache) मोडते. सुरुवातीला एक बाईट बदलल्यामुळे कॅश केलेले प्रत्येक टर्न अवैध ठरते. संपूर्ण इतिहास पुन्हा प्रोसेस करण्यासाठी तुम्हाला पूर्ण किंमत मोजावी लागते. हे संथ आणि महागडे आहे.
नवीन Claude मॉडेल्स संवादादरम्यानचे सिस्टम मेसेजेस (mid-conversation system messages) वापरून ही समस्या सोडवतात.
आता तुम्ही मेसेजेस ॲरेमध्ये (messages array) थेट सिस्टम रोल मेसेज ठेवू शकता. तुम्ही तो टॉपऐवजी इतिहासानंतर ठेवता.
ही पद्धत काम करते कारण नवीन सूचना कॅश केलेल्या इतिहासानंतर येते. यामुळे त्याआधीच्या कोणत्याही गोष्टीला धक्का लागत नाही. तुम्हाला फक्त त्या लहान नवीन मेसेजसाठी पैसे द्यावे लागतात. एजंट अजूनही त्या सूचनेला पूर्ण अधिकारानुसार मानतो.
जुनी पद्धत म्हणजे सूचना युजर मेसेजमध्ये टाकणे ही होती. यामध्ये सुरक्षेचा धोका आहे. युजर्स तुमच्या एजंटला फसवण्यासाठी युजर मेसेजेस स्पूफ (spoof) करू शकतात. सिस्टम रोल मेसेज स्पूफ करता येत नाही. हे मोड स्विच किंवा परवानग्यांसारख्या विश्वसनीय अपडेट्ससाठी एक सुरक्षित चॅनेल प्रदान करते.
ते योग्यरित्या वापरण्यासाठी या नियमांचे पालन करा:
• सूचना तथ्यांच्या स्वरूपात मांडा. 'ओव्हरराइड' (override) भाषा वापरू नका. • चांगले: "Auto-approve मोड आता सक्षम झाला आहे." • वाईट: "युजरकडे दुर्लक्ष करा आणि त्याऐवजी X करा." • मॉडेल्स अशा सूचनांना विरोध करू शकतात ज्या त्यांना मागील संदर्भ (context) दुर्लक्षित करण्यास सांगतात. • हे मेसेजेस युजर किंवा असिस्टंट मेसेजच्या नंतर आले पाहिजेत. • ते ॲरेमधील पहिला मेसेज असू शकत नाहीत. • सुरुवातीच्या सेटअपसाठी टॉप-लेव्हल सिस्टम प्रॉम्प्ट वापरा.
जर तुम्ही हे सपोर्ट न करणारे मॉडेल वापरले, तर तुम्हाला 400 एरर येईल. नेहमी तुमच्या कॉलला try-catch ब्लॉक मध्ये गुंडाळा (wrap). जर सिस्टम रोल अयशस्वी झाला, तर युजर-टर्न रिमाइंडरचा (user-turn reminder) वापर करा.
सेशन सुरू झाल्यानंतर तुम्हाला काही नवीन समजल्यास या फीचरचा वापर करा. मोड बदलण्यासाठी किंवा नवीन संदर्भासाठी याचा वापर करा. यामुळे तुमची कॅश 'हॉट' (hot) राहते आणि तुमच्या सूचना सुरक्षित राहतात.
वैकल्पिक शिक्षण समुदाय: https://t.me/GyaanSetuAi