LongStraw הודיעה כי טכניקת ה-branch-replay שלה יכולה לעבד 2.1 מיליון מיקומי טוקנים (token positions) עבור אימון-לאחר (post-training) מבוסס למידת חיזוק (RL) תוך שימוש בשמונה מעבדים גרפיים (GPUs) מסוג H20 בלבד, מה שמפחית את עלות החומרה בסדר גודל שלם. הטענה הזו משמעותית מכיוון שאימון מודלים בעלי הקשר ארוך (long-context) דרש באופן מסורתי עשרות GPUs מתקדמים, מה שמהווה מחסום עבור רוב מעבדות המחקר והסטארט-אפים.

מדוע RL בהקשר ארוך הוא יקר

כוונון עדין (fine-tuning) מבוסס RL של מודלי שפה גדולים מריץ בדרך כלל rollouts המייצרים השלמות חלופיות רבות עבור אותו prompt. כל rollout חייב לעבור back-propagation, ולכן עלות החישוב גדלה בהתאם למספר הכולל של מיקומי הטוקנים המעובדים. תהליכי עבודה (pipelines) נוכחיים השואפים להקשר של מיליון טוקנים זקוקים לעיתים קרובות ל-64 עד 128 GPUs כדי להסתיים בפרק זמן סביר. עלות החומרה הזו, בתוספת החשמל והקירור שהיא דורשת, מגבילה את היכולת של אנשי המקצוע לדחוף את אורך ההקשר למקומות רחוקים יותר.

כיצד ה-branch replay מצמצם את עומס העבודה

הגישה של LongStraw נשענת על שתי תצפיות לגבי יצירת transformer:

  • ה-prompt והחלק הראשוני של התגובה זהים בכל ה-rollouts.
  • רק הזנב המתפצל (divergent tail) של כל תגובה זקוק בפועל לחישוב חדש.

המערכת בונה מחסנית ביצוע (execution stack) המודעת לארכיטקטורה ומתעדת אקטיבציות (activations) עבור הקידומת (prefix) המשותפת. כאשר נחקר ענף חדש, המערכת מריצה מחדש (replays) את הקידומת השמורה בזיכרון המטמון (cache) במקום לחשב אותה מחדש, ואז מריצה את ה-backward pass רק על הקטע החדש. בפועל, המשמעות היא שה-backward pass נוגע בהרבה פחות מיקומי טוקנים, מה שמספק הפחתה של פי 8 עד 16 בכוח החישוב הגולמי.

השפעה מיידית

  • עיבוד של 2.1 מיליון מיקומי טוקנים על שמונה GPUs מסוג H20, תקציב חומרה שבדרך כלל היה תומך רק בחלק קטן מעומס העבודה הזה.
  • התמקדות ישירה בצוואר הבקבוק של RL בהקשר ארוך, שבו עלויות הזיכרון והחישוב מתפוצצות ככל שההקשר גדל.
  • מעבדות יוכלו לשנות את הקצאת ה-GPUs: אותה חומרה, שהיא בעיקר מאיץ הסקה (inference accelerator), עשויה כעת לשמש לאימון, אם כי התוצאות עשויות להשתנות בכרטיסים אחרים.

שאלות פתוחות ומגבלות

ההודעה משמיטה נתונים על מהירות האימון ועקומות התכנסות (convergence curves), כך שאיננו יודעים האם קיצוץ החישוב מתרגם לזמן ריצה (wall-clock time) מהיר יותר או רק לתפוסת GPU (occupancy) נמוכה יותר. השיטה מתוארת עבור דגימה אוטו-רגרסיבית (autoregressive sampling); התנהגותה עם אסטרטגיות לא-אוטו-רגרסיביות או היברידיות נותרה לא נבדקה. מכיוון שה-H20 הוא בעיקר מאיץ הסקה, הביצועים בכרטיסי אימון נפוצים יותר כגון H100 או B200 עשויים להשתנות.

בדיקות ביצועים (benchmarks) עצמאיות טרם אישרו את המספרים של LongStraw. ללא תיקוף מצד צד שלישי, על הקהילה להתייחס לתוצאות כבעלות פוטנציאל אך זמניות.

מה עומד על הפרק

אם רעיון ה-branch-replay יתרחב לאלגוריתמי fine-tuning אחרים מבוססי RL, כמו Direct Preference Optimization (DPO) או Proximal Policy Optimization (PPO), מחסום העלות עבור מודלים בעלי הקשר ארוך עשוי להתבטל.

מה כדאי לעקוב אחריו

  • ניסיונות לשחזור (replication) על ידי צד שלישי על מגוון ארכיטקטורות GPU.
  • עדכונים מ-LongStraw לגבי קצב העברת הנתונים (throughput) באימון ואיכות המודל הסופית בהשוואה לתהליכי עבודה בסיסיים (baseline pipelines).