मॉडल याद नहीं रखता। आप रखते हैं।
मैं पहले सोचता था कि Large Language Models (LLMs) में मेमोरी होती है।
मुझे लगता था कि प्रत्येक चैट सेशन अपना context स्टोर करता है। मैं गलत था।
LLMs stateless होते हैं। मॉडल एक request से दूसरी request के बीच कुछ भी याद नहीं रखता।
जब आप चैट history देखते हैं, तो आप messages के एक array को देख रहे होते हैं। बातचीत बनाने के लिए, आपको हर नए prompt के साथ पूरी history मॉडल को वापस भेजनी पड़ती है।
यदि आप SDK का उपयोग करते हैं, तो यह प्रक्रिया छिपी रहती है। SDK आपके लिए इस जटिलता को संभाल लेता है।
यदि आप raw fetch का उपयोग करते हैं, तो आप सब कुछ देख सकते हैं। आप headers, body और message array को खुद मैनेज करते हैं।
Context इस तरह काम करता है:
• आप एक message भेजते हैं। • मॉडल जवाब देता है। • आप दोनों messages को एक array में सेव करते हैं। • आप अगले सवाल के लिए पूरा array वापस भेज देते हैं।
मॉडल केवल वही जानता है जो आप वर्तमान request में भेजते हैं। बाकी सब कुछ खत्म हो जाता है।
इस array को समझना AI development की नींव है। यह RAG, sliding windows और semantic search जैसी advanced methods का शुरुआती बिंदु है।
यदि आप भरोसेमंद AI tools बनाना चाहते हैं, तो abstractions पर निर्भर रहना छोड़ दें। raw requests को देखें। history को खुद कंट्रोल करें।
पूरा पोस्ट: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk