𝗠𝗶𝗱-𝗖𝗼𝗻𝘃𝗲𝗿𝘀𝗮𝘁𝗶𝗼𝗻 𝗦𝘆𝘀𝘁𝗲𝗺 𝗣𝗿𝗼𝗺𝗽𝘁𝘀
दीर्घकाळ चालणारे AI एजंट्स तयार करताना अनेकदा एक महागडी चूक होते.
पैसे वाचवण्यासाठी तुम्ही एक मोठा system prompt वापरता आणि तो cache करता. जोपर्यंत तुम्हाला सत्राच्या मध्यभागी (mid-session) एजंटला नवीन सूचना देण्याची गरज पडत नाही, तोपर्यंत हे काम करते. तुम्हाला कोडिंग भाषा बदलण्याची किंवा प्रोजेक्टची स्थिती (project state) अपडेट करण्याची आवश्यकता भासू शकते.
जर तुम्ही ही माहिती जोडण्यासाठी टॉप-लेव्हल system prompt संपादित केला, तर तुमचा cache मोडतो. मॉडेलला संपूर्ण इतिहास पूर्ण किमतीत पुन्हा प्रोसेस करावा लागतो. यामुळे तुमचा एजंट संथ आणि महागडा होतो.
नवीन Claude मॉडेल्स मिड-कन्व्हर्सेशन सिस्टम मेसेजेसद्वारे ही समस्या सोडवतात.
तुम्ही आता तुमच्या message array मध्ये थेट system role मेसेज ठेवू शकता. तुम्ही तो वरच्या बाजूला ठेवण्याऐवजी इतिहासानंतर (history) ठेवता.
हे का महत्त्वाचे आहे:
• Cache Safety: सूचना तुमच्या cached history नंतर येते. यामुळे prefix अवैध (invalidate) होत नाही. तुम्हाला फक्त नवीन, लहान मेसेजसाठी पैसे द्यावे लागतात. • Security: तुम्ही पर्याय म्हणून user messages वापरू शकता, परंतु वापरकर्ते ते बनावट (forge) करू शकतात. system role मेसेजमध्ये अशी अधिकृतता असते जी वापरकर्ता कॉपी (spoof) करू शकत नाही. यामुळे prompt injection रोखले जाते.
हे योग्यरित्या कसे करावे:
या मेसेजेसना तथ्य (facts) म्हणून मांडणी करा. 'override' करणारी भाषा वापरू नका.
• चांगले: "Auto-approve mode आता सक्षम झाला आहे." • वाईट: "वापरकर्त्याने काय म्हटले ते दुर्लक्षित करा आणि त्याऐवजी हे करा."
मॉडेल्स अनेकदा मागील संदर्भ (context) दुर्लक्षित करण्यास सांगणाऱ्या सूचनांना विरोध करतात. जगाची नवीन स्थिती (new state of the world) सांगण्यावर लक्ष केंद्रित करा.
वापरण्याचे नियम:
- तो user किंवा assistant मेसेजच्या नंतर असला पाहिजे.
- तो array मधील पहिला मेसेज असू शकत नाही.
- तो फक्त text content स्वीकारतो.
- सर्व मॉडेल्स याचे समर्थन करत नाहीत. जर तुम्हाला 400 error आला, तर user-turn रिमाइंडरवर परत जाण्यासाठी नेहमी try-catch block वापरा.
सत्र सुरू झाल्यानंतर तुम्हाला काही नवीन समजल्यास याचा वापर करा. जर तुम्हाला ती माहिती सुरुवातीलाच माहित असेल, तर ती मुख्य system prompt मध्ये ठेवा. जर माहिती डायनॅमिक (dynamic) असेल, तर मिड-कन्व्हर्सेशन सिस्टम मेसेज वापरा.
यामुळे तुमचा cache 'hot' राहतो आणि तुमचा खर्च कमी होतो.