𝗔𝗜 𝗠𝗲𝗺𝗼𝗿𝘆 అనేది ఒక ప్రొడక్ట్ స్టేట్ (Product State), ప్రాంప్ట్ ట్రిక్ (Prompt Trick) కాదు
మెమరీతో కూడిన AI ప్రొడక్ట్లను నిర్మించడం కష్టమైన పని.
వాస్తవాలను (facts) సేవ్ చేసి, వాటిని తదుపరి ప్రాంప్ట్లో ఉంచడం సులభమైన మార్గం. యూజర్ ప్రాధాన్యతలను (user preference) గుర్తుంచుకోవడం వంటి సాధారణ పనులకు ఇది పనిచేస్తుంది.
కానీ యూజర్లు వ్యక్తిగత డేటాను పంచుకున్నప్పుడు ఇది విఫలమవుతుంది. మీ ప్రొడక్ట్ కలలు, మూడ్స్ లేదా వ్యక్తిగత ఆలోచనలను (private reflections) హ్యాండిల్ చేసేటప్పుడు, మెమరీని ఒకే ఒక బకెట్లా పరిగణించలేరు.
మెమరీ కోసం కేవలం ఒకే ఒక "on/off" స్విచ్ ఉండటం వల్ల చాలా సంక్లిష్టతలను దాచిపెట్టినట్లవుతుంది. యూజర్ దేనిని కలిగి ఉన్నారో, మోడల్ దేనిని ఉపయోగిస్తుందో మీరు వేరు చేయాలి.
ఒక రిఫ్లెక్టివ్ AI ప్రొడక్ట్ను నిర్మిస్తున్నప్పుడు నేను దీనిని తెలుసుకున్నాను. మెమరీ అనేది ఒకే విషయం కాదని నేను గ్రహించాను. ఇది వివిధ పొరలుగా (layers) ఉంటుంది:
- Conversation: ముడి చాట్ హిస్టరీ (raw chat history).
- Session notes: చాట్ తర్వాత సృష్టించబడిన సమ్మరీలు.
- Memory items: యూజర్ ఆమోదించిన నిర్దిష్ట వాస్తవాలు.
- User context: యూజర్ స్వయంగా రాసిన బ్యాక్గ్రౌండ్ సమాచారం.
- Retrieval evidence: ఒక నిర్దిష్ట టర్న్ కోసం సిస్టమ్ ఎంచుకునే డేటా.
- Prompt context: మోడల్ వాస్తవంగా చూసే చివరి డేటా.
ప్రతి పొరకు దాని స్వంత నియమాలు అవసరం.
స్టోర్ చేయబడిన మెమరీని (stored memory) మరియు ప్రాంప్ట్-టైమ్ మెమరీని (prompt-time memory) కలపడం అతిపెద్ద తప్పు. ఒక యూజర్ మెమరీ అసెట్ను కలిగి ఉండవచ్చు, కానీ మోడల్ దానిని ఇప్పుడే ఉపయోగించాలని కోరుకోకపోవచ్చు.
దీనిని నిర్వహించడానికి మీకు ఒక యాక్సెస్ లేయర్ (access layer) అవసరం. కేవలం "మెమరీ ఆన్ లో ఉందా?" అని అడగడానికి బదులుగా, "ఈ మెమరీ ప్రాంప్ట్లోకి ప్రవేశించవచ్చా?" అని అడగండి.
ఈ తేడా వల్ల అనేక సమస్యలు పరిష్కారమవుతాయి:
- ఒక ఉచిత యూజర్ ప్రతి చాట్లో అది యాక్టివ్గా ఉండకుండా డేటాను సేవ్ చేయవచ్చు.
- యూజర్ తన హిస్టరీని డిలీట్ చేయకుండా మెమరీని పాజ్ చేయవచ్చు.
- సబ్స్క్రిప్షన్ మార్పు వల్ల డేటా సురక్షితంగా ఉంటూనే, మోడల్ డేటాను ఉపయోగించకుండా ఆపవచ్చు.
AI ఎందుకు విషయాలను గుర్తుంచుకుంటుందో కూడా మీరు వివరించాలి. ఒకవేళ AI రెండు వారాల క్రితం నాటి కల గురించి ప్రస్తావిస్తే, అది ఎందుకు అలా చేసిందో వివరించలేకపోతే, అది అసౌకర్యంగా (creepy) అనిపించవచ్చు.
మీ సిస్టమ్ మెటాడేటాను (metadata) కలిగి ఉండాలి. ఒక మెమరీ అనేది యూజర్ నేరుగా రాసిన నోటా లేదా మోడల్ ఇన్ఫరెన్స్ (model inference) నా అనేది అది తెలియజేయాలి.
మెమరీని ఒక ప్రాంప్ట్ ట్రిక్లా చూడటం ఆపండి. దానిని ఒక ప్రొడక్ట్ స్టేట్గా పరిగణించండి.
మీరు సెన్సిటివ్ లేదా వ్యక్తిగత డేటా కోసం నిర్మిస్తుంటే, ఈ నియమాలను పాటించండి:
- ముడి ట్రాన్స్క్రిప్ట్లను (raw transcripts) లాంగ్-టర్మ్ మెమరీగా ఉపయోగించవద్దు.
- ముఖ్యమైన మెమరీ ఐటమ్స్ కోసం యూజర్ ఆమోదం తప్పనిసరి చేయండి.
- స్టోర్ చేయబడిన డేటాను ప్రాంప్ట్లోకి ప్రవేశించే దాని నుండి వేరు చేయండి.
- యూజర్లు కేవలం మొత్తం అకౌంట్లను మాత్రమే కాకుండా, వ్యక్తిగత ఐటమ్స్ను కూడా డిలీట్ చేయడానికి అనుమతించండి.
- డేటా నిలుపుదల (retention) మరియు డిలీషన్ నియమాలను స్పష్టంగా మరియు సరళంగా ఉంచండి.
మెమరీ శక్తివంతంగా మారకముందే దానిని పరిశీలించే వీలుండాలి.
Source: https://dev.to/woshiliyana/ai-memory-should-be-a-product-state-not-a-prompt-trick-4m20