חוקרים מ-KAIST הראו כי מתן אפשרות לבוט מסחר מונחה-מודל-שפה לשכתב את הפרומפט שלו בכל חמישה ימים העלה את מדד השארפ (Sharpe ratio) שלו מ-2.94 ל-4.00 והוסיף ביצועי יתר של 50 נקודות בסיס במהלך ניסוי שנמשך 50 יום. הרווח נבע מכך שהבוט נאלץ להעביר כל חישוב מטקסט חופשי לקוד Python בר-ביצוע.

מדוע פרומפטים סטטיים אינם מספיקים

רוב סוכני ה-LLM המריצים קוד מתחילים עם פרומפט מערכת קבוע – גוש טקסט שאומר למודל כיצד להתנהג. הפרומפט מתייחס לעיתים קרובות לכלי הקוד כאל קישוט אופציונלי. המודל עשוי עדיין "לחשוב" על תנודתיות או תשואות צפויות, אך הוא כותב את המספרים בטקסט פשוט ואז מחליט כמה להשקיע על בסיס ניחושים מעורפלים. התוצאה היא ניתוק: המודל יכול לייצר קוד תקין לחלוטין, אך גודל העסקה הסופי נבחר מחוץ לקוד הזה, מה שמותיר את ההחלטה חשופה להזיות (hallucination).

גישת ה-EvolveTrade

צוות KAIST החליף את הפרומפט הסטטי ב"מטא-סוכן" (meta-agent) הסוקר את ביצועי הבוט בחלון זמן נע של חמישה ימים. לאחר כל סקירה, המטא-סוכן משכתב את פרומפט המערכת, ובכך מהדק את ה"חוזה" בין מודל השפה לבין מפרש הקוד שלו. הפרומפט החדש מחייב שלושה צעדים קונקרטיים:

  • בניית טבלת מדדים עבור כל נכס באמצעות Python.
  • החלת נוסחאות מתמטיות מפורשות לדירוג הנכסים.
  • גזירת משקלי תיק ההשקעות המבוקשים בתוך הקוד במקום בטקסט markdown.

בפועל, הבוט המשודרג קרא לכלי ה-Python 11 פעמים בכל מחזור מסחר – כדי לחשב מדדים, לאמת מגבלות סיכון ולכייל משקלים – בעוד שהסוכן הבסיסי קרא לכלי רק פעם אחת, והסתמך על היוריסטיקות טקסטואליות בשאר הזמן.

מספרים שחשובים

במהלך בדיקת עבר (back-test) של 50 יום על קבוצת נכסים סטנדרטית, הסוכן המשודרג הציג:

  • מדד שארפ (Sharpe ratio): 4.00 לעומת 2.94 עבור הסוכן הסטטי.
  • תשואה מצטברת: 10.56% לעומת 8.88% עבור הסוכן הסטטי.

ביצועי היתר של 50 נקודות בסיס נובעים ישירות מהקישור ההדוק יותר בין הפעולות לבין מתמטיקה דטרמיניסטית. על ידי הפיכת תהליך קבלת ההחלטות של המודל לניתן לצפייה ולשחזור מלאים, החוקרים ביטלו את ה"ניחושים" שבדרך כלל פוגעים באסטרטגיות מסחר מונחות LLM.

מי מרוויח, מי מפסיד

עבור מפתחים הבונים בוטים פיננסיים, הלקח ברור: אם לסוכן יש גישה לסביבת ריצה (runtime), הפרומפט חייב לאלץ אותו לבטא כל תובנה מעשית כקוד. התעלמות מעיקרון זה מאפשרת למודל להתייחס לפלטי הכלי כאל "רעש רקע", מה שעלול לשחוק את הביצועים ולהגדיל את הסיכון.

מגבלות וטענות נגד

מה כדאי לעקוב אחריו בהמשך

שורה תחתונה: מתן אפשרות ל-LLM לשכתב את סט ההוראות של עצמו מכריח כל החלטת מסחר להפוך לקוד