𝟰𝟮/𝟲𝟬 రోజుల సిస్టమ్ డిజైన్ ప్రశ్నలు
మీ AI ఏజెంట్ ఒక యూజర్ పేరును గుర్తుంచుకుంటుంది.
ఒక యూజర్ ఏజెంట్ను NYCకి తక్కువ ధరలో ఫ్లైట్ బుక్ చేయమని అడుగుతారు. రాత్రికి $150 కంటే తక్కువ ధరలో ఉండే హోటల్స్ కావాలని అడుగుతారు. మొత్తం ప్రయాణ ఖర్చుల పోలికను అడుగుతారు.
మూడవ దశ వచ్చేసరికి, ఏజెంట్ 8,000 టోకెన్ల హిస్టరీని LLMకి పంపుతుంది. అది చాట్ యొక్క మొదటి దశలాగే సమాధానం ఇస్తుంది.
దీనిని విడుదల చేసే ముందు మీకు ఒక మెమరీ ఆర్కిటెక్చర్ అవసరం.
వీటిలో ఒకదాన్ని ఎంచుకోండి:
In-context window: పూర్తి హిస్టరీని ప్రాంప్ట్లో ఉంచండి. ఇది సరళమైనది. కానీ 15 టర్న్స్ లేదా 8,000 టోకెన్ల తర్వాత ఇది విఫలమవుతుంది.
Vector memory store: గత టర్న్స్ను ఎంబెడ్ చేయండి. సిమిలారిటీ ఆధారంగా ఉత్తమమైన వాటిని పొందండి. "NYC flight" కోసం వెతికినప్పుడు, ప్రస్తుత టాస్క్ బదులు పాత ప్రయాణానికి సంబంధించిన మెమరీని ఇది తీసుకువచ్చినప్పుడు విఫలమవుతుంది.
Episodic memory with summarization: పాత టర్న్స్ను స్ట్రక్చర్డ్ సమ్మరీలుగా కుదించండి. ప్రతి రిక్వెస్ట్లోకి సంబంధిత సమ్మరీలను చేర్చండి. దీనిని నిర్మించడం కష్టం, కానీ దీనివల్ల తప్పులు జరిగే అవకాశం తక్కువ.
Redis session state: ఒక స్ట్రక్చర్డ్ కీ-వాల్యూ స్టోర్ను ఉపయోగించండి. ఏజెంట్ స్పష్టంగా చదువుతుంది మరియు రాస్తుంది. ఇది డిటర్మినిస్టిక్. ఏజెంట్కు ఏమి స్టోర్ చేయాలి మరియు ఎప్పుడు చేయాలి అనేది తెలిసి ఉండాలి.
ఒక ఆప్షన్ 15 టర్న్స్ తర్వాత విఫలమవుతుంది. మరొకటి తప్పుడు సమయంలో తప్పుడు కాంటెక్స్ట్ను తీసుకువస్తుంది. టాస్క్-ఓరియెంటెడ్ ఏజెంట్లకు సరైన ఎంపిక మరొకటి.
A, B, C, లేదా D లో ఒకదాన్ని ఎంచుకోండి. మీరు ప్రొడక్షన్లో ఇలాంటి సమస్యను ఎదుర్కొన్నట్లయితే నాకు చెప్పండి.
దీనికి సంబంధించిన పూర్తి వివరణను నేను కామెంట్లలో షేర్ చేస్తాను.
Source: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Optional learning community: https://t.me/GyaanSetuAi