మోడల్కు గుర్తుండదు. మీకు ఉంటుంది.
LLMsలకు మెమరీ ఉండదు.
ప్రతి చాట్ దాని స్వంత కాంటెక్స్ట్ను (context) నిల్వ చేసుకుంటుందని నేను అనుకునేవాడిని. మోడల్ మన మునుపటి మాటలను ఆటోమేటిక్గా గుర్తుంచుకుంటుందని నేను భావించాను. కానీ నేను పొరబడ్డాను.
Messages API అనేది స్టేట్లెస్ (stateless). మీరు ప్రస్తుత రిక్వెస్ట్లో పంపే సమాచారాన్ని మాత్రమే మోడల్ తెలుసుకోగలదు. మీరు సంభాషణను కొనసాగించాలనుకుంటే, ప్రతిసారీ పూర్తి హిస్టరీని మోడల్కు తిరిగి పంపాలి.
మీ మెమరీ అనేది కేవలం మెసేజ్ల యొక్క ఒక అర్రే (array) మాత్రమే.
మీరు ఒక చాట్ను నిర్మించినప్పుడు, ఈ అర్రేను మీరే నిర్వహించాల్సి ఉంటుంది. అది ఇలా ఉంటుంది:
• User: హలో, Claude • Assistant: హలో! నేను మీకు ఎలా సహాయపడగలను? • User: LLMs గురించి వివరించగలరా?
మీరు ప్రతిసారీ కొత్త ప్రశ్న అడిగినప్పుడు, ఆ కొత్త మెసేజ్ను ఆ జాబితాకు జోడించి (append), మొత్తం జాబితాను APIకి పంపాలి.
నేను SDKలను ఉపయోగించకుండా ఉండటం ద్వారా దీనిని నేర్చుకున్నాను. చాలా మంది డెవలపర్లు Anthropic SDK వంటి సాధనాలను ఉపయోగిస్తారు. ఈ సాధనాలు సంక్లిష్టతను దాచిపెడతాయి. అవి మీ కోసం రిట్రైలు (retries) మరియు హెడర్లను (headers) నిర్వహిస్తాయి.
దానికి బదులుగా నేను raw fetch ఉపయోగించాలని నిర్ణయించుకున్నాను. ఇది హెడర్లు మరియు రిక్వెస్ట్ బాడీని మాన్యువల్గా నిర్వహించాల్సి వచ్చేలా చేసింది. ఇది అబ్స్ట్రాక్షన్ను (abstraction) తొలగించింది. డేటా ఖచ్చితంగా ఎలా కదులుతుందో నేను చూడగలిగాను.
ఈ కాన్సెప్ట్ మిగిలినవన్నీ నిర్మించడానికి పునాది. మీరు అధునాతన వ్యవస్థలను నిర్మించాలనుకుంటే, ఈ అర్రేను తప్పనిసరిగా అర్థం చేసుకోవాలి. RAG లేదా sliding windows వంటి వ్యూహాలన్నీ మీరు ఈ మెసేజ్ జాబితాను ఎలా నిర్వహిస్తారు అనే దానితోనే మొదలవుతాయి.
మీరు హిస్టరీని పట్టు సాధించిన తర్వాత, tool use వైపు వెళ్లవచ్చు. ఇది మోడల్ పనులను అమలు చేయడానికి మరియు రన్ చేయడానికి సరైన ఫంక్షన్లను ఎంచుకోవడానికి అనుమతిస్తుంది.
మీ కాంటెక్స్ట్ను నియంత్రించండి. మీ మోడల్ను నియంత్రించండి.
Source: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-3mmk
Optional learning community: https://t.me/GyaanSetuAi