זיכרון סוכן: 7 סוגים, ו-2 מהם לא באמת זוכרים

לסוכן שלך אין בעיית זיכרון. יש לו שבעה סוגים שונים של זיכרון. רוב הצוותים בונים רק שניים.

הדבר הראשון שעליכם להבין: המודל לא זוכר כלום. LLM הוא פונקציה טהורה. הוא מקבל קלט ונותן פלט. הוא אינו נושא איתו מצב (state) בין קריאות. מה שמרגיש כמו זיכרון הוא רק שכבה ששולחת מחדש את ההיסטוריה עם כל בקשה. אתם משלמים על הטוקנים האלה בכל פעם מחדש.

רוב המאמצים ההנדסיים מתכנסים לשני דפוסים: היסטוריית שיחה ו-RAG. אלו שניים מתוך שבעת הסוגים. הבעיה? הם לא הופכים את הסוכן שלכם לחכם יותר עם הזמן.

להלן שבעת סוגי הזיכרון:

• זיכרון עבודה (Working): כל מה שנמצא בחלון ההקשר (context window) הנוכחי. • סמנטי (Semantic): עובדות, העדפות וידע בתחום. • אפיזודי (Episodic): יומן של אירועי עבר ומה עבד או נכשל. • פרוצדורלי (Procedural): מיומנויות, תהליכי עבודה ודפוסי שימוש בכלים. • שליפה (Retrieval): משיכת ידע באמצעות חיפוש דמיון. • פרמטרי (Parametric): ידע המוטמע בתוך משקלי המודל. • פרוספקטיבי (Prospective): כוונות עתידיות ומשימות מתוזמנות.

שניים מהם אינם זיכרון אמיתי. RAG הוא רק מנגנון אספקה. הוא הצנרת, לא המים. הוא מעביר נתונים מאחסון אל זיכרון העבודה. אם אתם משתמשים רק במסד נתונים וקטורי, בניתם צינור ושכחתם את הנוזל.

כדי לבנות סוכן שלומד באמת, אתם זקוקים ללולאת גיבוש (consolidation loop). המשמעות היא הפיכת זיכרון אפיזודי לזיכרון סמנטי.

התהליך עובד כך:

  1. הסוכן חווה אירוע (אפיזודי).
  2. הסוכן רואה את אותו דפוס חוזר על עצמו פעמים רבות.
  3. הסוכן מופשט את אותו דפוס לכלל קבוע (סמנטי).

כעת, הסוכן לא צריך להסיק מסקנות דרך שנים-עשר דוגמאות. הוא פשוט מיישם עובדה אחת.

איך לתעדף את הבנייה שלכם:

  • נהלו את זיכרון העבודה כתקציב. זוהי העלות הגבוהה ביותר שלכם. השתמשו בסיכום (summarization) ובהסרה (eviction) בשלב מוקדם.
  • הפרידו בין מאגרי המידע שלכם. שמרו עובדות, אירועים וכללים במקומות שונים.
  • השתמשו במתזמן (scheduler) עבור זיכרון פרוספקטיבי. אל תשתמשו במאגר וקטורי עבור דברים שצריכים לקרות בתאריך ספציפי.
  • קבעו גבול ברור עבור זיכרון פרמטרי. השתמשו במודל לצורך הסקה (reasoning), אך השתמשו במאגרים שלכם עבור נתונים משתנים (volatile) כמו שיעורי ריבית או חוקי מוצר.

רוב הסוכנים כיום הם רק חלון הקשר ומסד נתונים וקטורי. הסוכנים שמנצחים הם אלו שיכולים להפוך את הטעויות של אתמול לכללים של מחר.

מקור: https://dev.to/shudiptotrafder/agent-memory-7-types-and-2-of-them-arent-memory-6oi

קהילת למידה אופציונלית: https://t.me/GyaanSetuAi