𝗧𝗵𝗲 𝗠𝗼𝗱𝗲𝗹 𝗗𝗼𝗲𝘀𝗻'𝘁 𝗥𝗲𝗺𝗲𝗺𝗯𝗲𝗿. 𝗬𝗼𝘂 𝗗𝗼.
मला वाटायचे की Large Language Models (LLMs) कडे मेमरी असते.
मला वाटायचे की प्रत्येक चॅट सेशन स्वतःचा कॉन्टेक्स्ट (context) साठवून ठेवते. मी चुकीचा होतो.
LLMs हे stateless असतात. एका रिक्वेस्टमधून दुसऱ्या रिक्वेस्टमध्ये मॉडेलला काहीही आठवत नाही.
जेव्हा तुम्ही चॅट हिस्ट्री पाहता, तेव्हा तुम्ही मेसेजेसचा एक array पाहत असता. संभाषण तयार करण्यासाठी, तुम्हाला प्रत्येक नवीन प्रॉम्प्टसोबत संपूर्ण हिस्ट्री मॉडेलला परत पाठवावी लागते.
जर तुम्ही SDK वापरत असाल, तर ही प्रक्रिया लपलेली असते. SDK तुमच्यासाठी ही गुंतागुंत हाताळते.
जर तुम्ही raw fetch वापरले, तर तुम्हाला सर्व काही दिसते. तुम्हाला headers, body आणि message array स्वतः मॅनेज करावा लागतो.
कॉन्टेक्स्ट (context) अशा प्रकारे काम करतो:
• तुम्ही एक मेसेज पाठवता. • मॉडेल प्रतिसाद देते. • तुम्ही दोन्ही मेसेजेस एका array मध्ये सेव्ह करता. • पुढच्या प्रश्नासाठी तुम्ही तो संपूर्ण array परत पाठवता.
मॉडेलला फक्त तेच माहित असते जे तुम्ही सध्याच्या रिक्वेस्टमध्ये पाठवता. बाकी सर्व काही निघून जाते.
हा array समजून घेणे हे AI डेव्हलपमेंटचा पाया आहे. RAG, sliding windows आणि semantic search सारख्या प्रगत पद्धतींसाठी ही एक सुरुवात आहे.
जर तुम्हाला विश्वसनीय AI टूल्स बनवायचे असतील, तर abstractions वर अवलंबून राहणे थांबवा. raw requests कडे लक्ष द्या. हिस्ट्री स्वतः नियंत्रित करा.
पूर्ण पोस्ट: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk