മോഡലിന് ഓർമ്മയില്ല. നിങ്ങൾക്ക് ഉണ്ട്.
Large Language Models (LLMs)-ന് ഓർമ്മയുണ്ടെന്നാണ് ഞാൻ കരുതിയിരുന്നത്.
ഓരോ ചാറ്റ് സെഷനും അതിന്റെ കോൺടെക്സ്റ്റ് (context) സ്വയം സൂക്ഷിക്കുന്നുണ്ടെന്നാണ് ഞാൻ വിചാരിച്ചത്. ഞാൻ തെറ്റിദ്ധരിച്ചു.
LLMs stateless ആണ്. ഒരു റിക്വസ്റ്റിൽ നിന്ന് അടുത്തതിലേക്ക് മോഡലിന് ഒന്നും ഓർമ്മിച്ചുവെക്കാൻ കഴിയില്ല.
നിങ്ങൾ ഒരു ചാറ്റ് ഹിസ്റ്ററി കാണുമ്പോൾ, യഥാർത്ഥത്തിൽ നിങ്ങൾ കാണുന്നത് സന്ദേശങ്ങളുടെ ഒരു അറേ (array) ആണ്. ഒരു സംഭാഷണം സൃഷ്ടിക്കുന്നതിന്, ഓരോ പുതിയ പ്രോംപ്റ്റിനൊപ്പവും മുഴുവൻ ഹിസ്റ്ററിയും നിങ്ങൾ മോഡലിന് തിരികെ അയച്ചു കൊടുക്കണം.
നിങ്ങൾ ഒരു SDK ഉപയോഗിക്കുകയാണെങ്കിൽ, ഈ പ്രക്രിയ മറഞ്ഞിരിക്കുകയാണ്. SDK ഈ സങ്കീർണ്ണതകൾ നിങ്ങൾക്കായി കൈകാര്യം ചെയ്യുന്നു.
നിങ്ങൾ raw fetch ഉപയോഗിക്കുകയാണെങ്കിൽ, നിങ്ങൾക്ക് എല്ലാം കാണാൻ സാധിക്കും. ഹെഡറുകളും (headers), ബോഡിയും (body), മെസ്സേജ് അറേയും (message array) നിങ്ങൾ തന്നെ നിയന്ത്രിക്കേണ്ടി വരും.
കോൺടെക്സ്റ്റ് പ്രവർത്തിക്കുന്നത് ഇങ്ങനെയാണ്:
• നിങ്ങൾ ഒരു സന്ദേശം അയക്കുന്നു. • മോഡൽ മറുപടി നൽകുന്നു. • നിങ്ങൾ രണ്ട് സന്ദേശങ്ങളും ഒരു അറേയിൽ സേവ് ചെയ്യുന്നു. • അടുത്ത ചോദ്യത്തിനായി നിങ്ങൾ ആ മുഴുവൻ അറേയും തിരികെ അയക്കുന്നു.
നിലവിലെ റിക്വസ്റ്റിൽ നിങ്ങൾ എന്താണോ അയക്കുന്നത് അത് മാത്രമേ മോഡലിന് അറിയാവൂ. മറ്റെല്ലാം നഷ്ടപ്പെട്ടു കഴിഞ്ഞു.
ഈ അറേയെക്കുറിച്ച് മനസ്സിലാക്കുന്നത് AI വികസനത്തിന്റെ അടിസ്ഥാനമാണ്. RAG, sliding windows, semantic search തുടങ്ങിയ നൂതന രീതികളുടെ തുടക്കമിതാണ്.
നിങ്ങൾക്ക് വിശ്വസനീയമായ AI ടൂളുകൾ നിർമ്മിക്കണമെന്നുണ്ടെങ്കിൽ, അബ്സ്ട്രാക്ഷനുകളെ (abstractions) മാത്രം ആശ്രയിക്കുന്നത് നിർത്തുക. റോ (raw) റിക്വസ്റ്റുകൾ പരിശോധിക്കുക. ഹിസ്റ്ററി നിങ്ങൾ തന്നെ നിയന്ത്രിക്കുക.
പൂർണ്ണമായ പോസ്റ്റ്: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk