המודל לא זוכר. אתם כן.
פעם חשבתי שלמודלי שפה גדולים (LLMs) יש זיכרון.
חשבתי שכל סשן צ'אט שומר את ההקשר (context) שלו. טעיתי.
LLMs הם stateless. המודל לא זוכר דבר מבקשה אחת למשנהו.
כשאתם רואים היסטוריית צ'אט, אתם מסתכלים על מערך (array) של הודעות. כדי ליצור שיחה, עליכם לשלוח את כל ההיסטוריה חזרה למודל עם כל פרומפט חדש.
אם אתם משתמשים ב-SDK, התהליך הזה נשאר חבוי. ה-SDK מטפל במורכבות עבורכם.
אם אתם משתמשים ב-raw fetch, אתם רואים הכל. אתם מנהלים את ה-headers, ה-body ומערך ההודעות בעצמכם.
כך עובד הקשר (context):
• אתם שולחים הודעה. • המודל מגיב. • אתם שומרים את שתי ההודעות במערך. • אתם שולחים את כל המערך חזרה עבור השאלה הבאה.
המודל יודע רק את מה שאתם שולחים בבקשה הנוכחית. כל השאר נעלם.
הבנת המערך הזה היא הבסיס לפיתוח AI. זוהי נקודת המוצא לשיטות מתקדמות כמו RAG, sliding windows וחיפוש סמנטי (semantic search).
אם אתם רוצים לבנות כלי AI אמינים, הפסיקו להסתמך על אבסטרקציות. הסתכלו על הבקשות הגולמיות (raw requests). נהלו את ההיסטוריה בעצמכם.
פוסט מלא: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk