Deep Interaction Boosts LLM Fix Success 25%+ While Slashing Tokens 40%

Deep Interaction מאפשר למפתחים לערוך את שרשרת ההסקה של מודל שפה בזמן אמת, מה שמעלה את שיעור הצלחת התיקונים ביותר מ-25% ומפחית את צריכת הטוקנים בכ-40% בבעיות STEM.

למה הפתרונות הקיימים אינם מספיקים

מודלי שפה גדולים (LLMs) המשתמשים בהנחיית שרשרת מחשבה (chain-of-thought) מפרקים שאלות מורכבות לסדרת צעדים לוגיים. כאשר צעד אחד משתבש, מפתחים בדרך כלל מאתחלים את השיחה או מוסיפים הנחיה מתקנת בתחילתה. שתי הדרכים הללו מבזבזות זמן: המודל נוטה לעיתים קרובות לחזור על הטעות או להוציא התנצלות גנרית מבלי ללמוד מהשגיאה. מפתחים מסתיימים בשליחת עשרות הנחיות רק כדי להחזיר את המודל למסלול, מה שמנפח את כמות הטוקנים ואת עלויות המחשוב.

מה שונה ב-Deep Interaction

הטכניקה החדשה מתייחסת לפלט של המודל כטקסט הניתן לעריכה במקום כתשובת "קופסה שחורה". תהליך העבודה הוא:

1. איתור התקלה – המפתח מזהה בדיוק את השלב בשרשרת ההסקה שאינו נכון.
2. עריכה במקום – המפתח כותב מחדש את השורה הזו, תוך שמירה על השלבים הנכונים שסביבה.
3. זיקוק העריכה – המערכת הופכת את התיקון שבוצע על ידי האדם להנחיה (prompt) תמציתית שתופסת את הלוגיקה הרצויה.
4. הנחיית המודל – ה-LLM מקבל את ההנחיה המזוקקת וממשיך בהסקה מהנקודה המתוקנת ואילך.

הזנת המודל בתיקון ממוקד במקום הנחיה מחדש מלאה מונעת יצירה מחדש של חלקים קודמים בתשובה שכבר היו נכונים.

רווחים מדידים

מבחני ביצועים (Benchmarks) על סט של משימות STEM מראים את ההשפעה בבירור. כאשר מפתחים השתמשו ב-Deep Interaction, שיעור התשובות שתוקנו בהצלחה עלה ביותר מרבע בהשוואה להנחיה מחדש סטנדרטית. במקביל, צריכת הטוקנים ירדה בכ-40%, מה שצמצם את חשבונות המחשוב בענן והאיץ אפליקציות אינטראקטיביות.

מי עומד להפיק מכך תועלת

• מפתחים – אין צורך יותר לכתוב סקריפטים של לולאות אינסופיות של כוונון הנחיות (prompt-tuning). עריכה אחת יכולה לפתור טעות לוגית, ובכך לפנות זמן לעבודה ברמה גבוהה יותר.
• ארגונים המפתחים כלים מדעיים או הנדסיים – הסקה אמינה יותר פירושה פחות שגיאות בשלבים מאוחרים יותר בסימולציות, בחישובים או בתהליכי ניתוח נתונים.
• משתמשי קצה – תגובות מהירות יותר ועלויות שירות נמוכות יותר משפרות את החוויה הכוללת של עוזרים מבוססי AI.

מגבלות ונקודות למחשבה

Deep Interaction מניח שהמפתח מסוגל לזהות ולנסח במדויק את הפגם הלוגי. בתחומים שבהם השגיאה היא עדינה או שההסקה אינה שקופה, עריכה ידנית עשויה להיות לא מעשית. הרווחים שדווחו מגיעים גם ממבחני ביצועים מבוקרים בתחום ה-STEM.

שורה תחתונה

Deep Interaction הופך את המפתח ממשתמש פסיבי למורה פעיל, ומאפשר תיקונים מדויקים ובעלות נמוכה של תהליכי ההסקה של ה-LLM.