למה AI זקוק לניהול מצב (State Management) יותר מאשר לחלונות הקשר (Context Windows) גדולים יותר

מודלים חדשים יוצאים לשוק עם חלונות הקשר (context windows) עצומים. ההנחה היא פשוטה. יותר נתונים בבקשה אחת פותרים כל בעיה.

מוסיפים יותר מסמכים. מוסיפים יותר היסטוריה. מוסיפים יותר נתוני תהליכי עבודה (workflow).

אבל אחרי שהרצנו AI בסביבת ייצור (production), למדנו לקח. חלונות הקשר עוזרים. ניהול מצב (state management) חשוב יותר.

כש-AI מייצר תוצאות גרועות, צוותים נוטים להוסיף יותר מידע לפרומפט (prompt). הם חושבים שהמודל זקוק ליותר היסטוריה או ליותר הקשר עסקי. הפרומפט גדל וגדל.

יותר מידע לא אומר החלטות טובות יותר. לעיתים קרובות זה גורם להפך. חלונות הקשר גדולים מסתירים ארכיטקטורה גרועה. במקום לבחור נתונים רלוונטיים, המערכות כוללות הכל.

זה יוצר מספר בעיות:

למודל יש יותר מידע אבל פחות בהירות.

חייבים להבין את ההבדל בין הקשר (context) למצב (state). הקשר הוא מידע הזמין במהלך בקשה בודדת. מצב הוא מידע שהמערכת מכירה לאורך זמן.

דוגמאות למצב (state):

אין צורך שהמידע הזה יחיה בתוך כל פרומפט. מערכות מבוזרות (distributed systems) לא פותרות מורכבות על ידי העברת כל הנתונים לכל מקום. הן משתמשות במסדי נתונים, מטמנים (caches) ותורים (queues) כדי לנהל מצב.

מערכות AI נוטות לעיתים קרובות לדלג על המשמעת הזו. הן מתייחסות לחלון ההקשר כאל מסד נתונים זמני. זוהי עצלות ארכיטקטונית.

תפסיקו לשאול "האם אנחנו יכולים להכניס הכל?" תתחילו לשאול "איזה מידע נחוץ?"

ראינו תוצאות טובות יותר על ידי שיפור ניהול המצב, ולא על ידי הגדלת גודל ההקשר. עשינו זאת על ידי:

זה הוביל לעלויות נמוכות יותר ולביצועים מהירים יותר. זה לא דרש מודלים גדולים יותר. זה דרש עיצוב טוב יותר.

המטרה היא לא לתת למודל גישה להכל. המטרה היא לתת למודל את המידע הנכון בזמן הנכון.

מקור: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m

קהילת למידה אופציונלית: https://t.me/GyaanSetuAi