AI मेमरी ही प्रॉम्प्ट ट्रिक नसून एक प्रॉडक्ट स्टेट आहे
मेमरीसह AI उत्पादने तयार करणे कठीण आहे.
सोपा मार्ग म्हणजे तथ्ये (facts) जतन करणे आणि ती पुढच्या प्रॉम्प्टमध्ये टाकणे. वापरकर्त्याची पसंती लक्षात ठेवण्यासारख्या साध्या कामांसाठी हे काम करते.
परंतु जेव्हा वापरकर्ते वैयक्तिक डेटा शेअर करतात, तेव्हा ही पद्धत अपयशी ठरते. जर तुमचे उत्पादन स्वप्ने, मूड किंवा खाजगी विचार हाताळत असेल, तर तुम्ही मेमरीकडे एकच साठवणूक (single bucket) म्हणून पाहू शकत नाही.
मेमरीसाठी एकच "on/off" स्विच असणे खूप गुंतागुंत लपवते. वापरकर्त्याची मालकी असलेली गोष्ट आणि मॉडेल वापरत असलेली गोष्ट, या दोन्ही वेगळ्या करणे आवश्यक आहे.
एक रिफ्लेक्टिव्ह (reflective) AI उत्पादन तयार करताना मला हे समजले. मला जाणीव झाली की मेमरी ही केवळ एक गोष्ट नाही. ती विविध थरांमध्ये (layers) विभागलेली असते:
- संभाषण (Conversation): मूळ चॅट हिस्ट्री.
- सेशन नोट्स (Session notes): चॅट नंतर तयार केलेले सारांश.
- मेमरी आयटम्स (Memory items): वापरकर्त्याने मंजूर केलेले विशिष्ट तथ्य.
- युजर कॉन्टेक्स्ट (User context): वापरकर्त्याने स्वतः लिहिलेली पार्श्वभूमी माहिती.
- रिट्रिव्हल एविडन्स (Retrieval evidence): विशिष्ट टर्नसाठी सिस्टम निवडलेला डेटा.
- प्रॉम्प्ट कॉन्टेक्स्ट (Prompt context): मॉडेलला प्रत्यक्षात दिसणारा अंतिम डेटा.
प्रत्येक थरासाठी स्वतःचे नियम असणे आवश्यक आहे.
साठवलेली मेमरी (stored memory) आणि प्रॉम्प्ट-टाइम मेमरी (prompt-time memory) एकत्र करणे ही सर्वात मोठी चूक आहे. वापरकर्त्याकडे मेमरी मालमत्ता (memory asset) असू शकते, परंतु त्याला मॉडेलने ती सध्या वापरू नये असे वाटू शकते.
हे व्यवस्थापित करण्यासाठी तुम्हाला एका ॲक्सेस लेयरची (access layer) गरज आहे. फक्त "मेमरी चालू आहे का?" असे विचारण्याऐवजी, "ही मेमरी प्रॉम्प्टमध्ये येऊ शकते का?" असे विचारा.
हा फरक अनेक समस्या सोडवतो:
- मोफत वापरकर्ता प्रत्येक चॅटमध्ये ती सक्रिय न ठेवता डेटा जतन करू शकतो.
- वापरकर्ता आपली हिस्ट्री डिलीट न करता मेमरी थांबवू शकतो.
- सबस्क्रिप्शन बदलल्यामुळे डेटा सुरक्षित ठेवूनही मॉडेलला तो वापरण्यापासून रोखता येते.
AI गोष्टी का लक्षात ठेवते, हे स्पष्ट करणे देखील आवश्यक आहे. जर AI दोन आठवड्यांपूर्वीचे स्वप्न अचानक काढले, आणि ते का काढले याचे स्पष्टीकरण देऊ शकले नाही, तर ते भीतीदायक (creepy) वाटू शकते.
तुमच्या सिस्टममध्ये मेटाडेटा (metadata) असणे आवश्यक आहे. मेमरी ही वापरकर्त्याची थेट नोट होती की मॉडेलने काढलेला निष्कर्ष (inference) होता, हे त्यात नमूद केले पाहिजे.
मेमरीकडे प्रॉम्प्ट ट्रिक म्हणून पाहणे थांबवा. तिला प्रॉडक्ट स्टेट (product state) म्हणून पहा.
जर तुम्ही संवेदनशील किंवा वैयक्तिक डेटासाठी उत्पादन तयार करत असाल, तर या नियमांचे पालन करा:
- दीर्घकालीन मेमरी म्हणून रॉ ट्रान्सक्रिप्ट्स (raw transcripts) वापरू नका.
- महत्त्वाच्या मेमरी आयटम्ससाठी वापरकर्त्याची परवानगी आवश्यक ठेवा.
- साठवलेला डेटा आणि प्रॉम्प्टमध्ये जाणारा डेटा वेगळा ठेवा.
- वापरकर्त्यांना फक्त संपूर्ण अकाउंट नाही, तर वैयक्तिक आयटम्स डिलीट करण्याची सुविधा द्या.
- डेटा रिटेंशन (retention) आणि डिलीशनचे नियम स्पष्ट आणि साधे ठेवा.
मेमरी शक्तिशाली होण्यापूर्वी ती तपासण्यायोग्य (inspectable) असावी.
Source: https://dev.to/woshiliyana/ai-memory-should-be-a-product-state-not-a-prompt-trick-4m20