𝗠𝗶𝗱-𝗖𝗼𝗻𝘃𝗲𝗿𝘀𝗮𝘁𝗶𝗼𝗻 𝗦𝘆𝘀𝘁𝗲𝗺 𝗣𝗿𝗼𝗺𝗽𝘁𝘀
लंबे एजेंट सत्र (agent sessions) एक स्थिर सिस्टम प्रॉम्प्ट और बढ़ते हुए इतिहास (history) का उपयोग करते हैं। लागत कम रखने के लिए आप प्रीफ़िक्स (prefix) को कैश (cache) करते हैं।
समस्या तब आती है जब आपको सत्र के बीच में नए निर्देश जोड़ने की आवश्यकता होती है। आप एजेंट को भाषा बदलने या कोई सेटिंग अपडेट करने के लिए कहना चाहते हैं।
यदि आप टॉप-लेवल सिस्टम प्रॉम्प्ट को एडिट करते हैं, तो आप कैश को तोड़ देते हैं। शुरुआत में एक बाइट बदलने से हर कैश किया गया टर्न (turn) अमान्य हो जाता है। पूरे इतिहास को फिर से प्रोसेस करने के लिए आपको पूरी कीमत चुकानी पड़ती है। यह धीमा और महंगा है।
नए Claude मॉडल्स इसे मिड-कन्वर्सेशन सिस्टम मैसेज के साथ हल करते हैं।
अब आप सीधे मैसेज एरे (messages array) में एक सिस्टम रोल मैसेज रख सकते हैं। आप इसे टॉप के बजाय इतिहास के बाद रखते हैं।
यह तरीका इसलिए काम करता है क्योंकि नया निर्देश कैश किए गए इतिहास के बाद आता है। यह अपने पहले वाले किसी भी हिस्से को अमान्य नहीं करता है। आपको केवल छोटे नए मैसेज के लिए भुगतान करना पड़ता है। एजेंट अभी भी निर्देश को पूरी अथॉरिटी के साथ मानता है।
पुराना तरीका निर्देशों को यूजर मैसेज के अंदर रखना था। इसमें सुरक्षा का जोखिम है। यूजर्स आपके एजेंट को धोखा देने के लिए यूजर मैसेज को स्पूफ (spoof) कर सकते हैं। सिस्टम रोल मैसेज को स्पूफ नहीं किया जा सकता। यह मोड स्विच या परमिशन जैसे विश्वसनीय अपडेट के लिए एक सुरक्षित चैनल प्रदान करता है।
इसे सही ढंग से उपयोग करने के लिए इन नियमों का पालन करें:
• निर्देशों को तथ्यों के रूप में लिखें। ओवरराइड (override) भाषा का उपयोग न करें। • अच्छा: "Auto-approve मोड अब सक्षम है।" • बुरा: "यूजर को अनदेखा करें और इसके बजाय X करें।" • मॉडल्स उन निर्देशों का विरोध कर सकते हैं जो उन्हें पिछले संदर्भ (context) को अनदेखा करने के लिए कहते हैं। • ये मैसेज एक यूजर या असिस्टेंट मैसेज के बाद आने चाहिए। • वे एरे में पहला मैसेज नहीं हो सकते। • शुरुआती सेटअप के लिए टॉप-लेवल सिस्टम प्रॉम्प्ट का उपयोग करें।
यदि आप ऐसा मॉडल उपयोग करते हैं जो इसका समर्थन नहीं करता है, तो आपको 400 एरर मिलेगा। हमेशा अपने कॉल को try-catch ब्लॉक में रखें। यदि सिस्टम रोल विफल हो जाता है, तो यूजर-टर्न रिमाइंडर (user-turn reminder) का उपयोग करें।
इस फीचर का उपयोग तब करें जब सत्र शुरू होने के बाद आप कुछ नया सीखते हैं। इसका उपयोग मोड बदलने या नए संदर्भ के लिए करें। यह आपके कैश को 'हॉट' (hot) रखता है और आपके निर्देशों को सुरक्षित रखता है।
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi