סם אלטמן טוען כי הספקנים ביחס להרחבת המודלים (Scaling) עיכבו את פיתוח ה-AI

מנכ"ל OpenAI, סם אלטמן, מחזק את עמדתו בנוגע לכוחה של ההרחבה (scaling), בטענה שדור קודם של חוקרים עיכב את ההתקדמות על ידי הערכת חסר של הפוטנציאל של מודלי שפה גדולים (LLMs). בעוד שהוויכוח על תקרת היכולות של ארכיטקטורות Transformer מתעצם, אלטמן טוען כי הראיות האמפיריות תומכות באופן מוחלט בהמשך ההתרחבות של כוח המחשוב והנתונים.

המחיר של דוגמטיות אינטלקטואלית

במהלך הופעה לאחרונה בסטנפורד, אלטמן התייחס למתח שבין תומכי ההרחבה לבין הספקנים, תוך התייחסות בולטת למבקרים כמו יאן לקון (Yann LeCun) מ-Meta, שכינה באופן מפורסם את ה-LLMs כ"מבוי סתום". אלטמן מציע שחלק גדול מההתנגדות להיפותזת ההרחבה נובע מכך שחוקרים בטוחים מדי בתחזיותיהם לגבי מה ש-AI אינו יכול לעשות.

הוא טען כי דמויות מסוימות בתעשייה קשרו את הזהות המקצועית שלהן לעמדות תיאורטיות ספציפיות, מה שהופך אותן לעמידות בפני נתונים חדשים הסותרים את אמונותיהן ארוכות השנים. בעודו מכיר בכך ש"מודלים של עולם" (world models) חיוניים להתקדמות בתחומים כמו רובוטיקה, אלטמן עומד על כך שהמסלול הנוכחי של ה-LLMs אינו עיקוף, אלא המנוע העיקרי של האינטליגנציה.

הוכחה אמפירית: מעבר להתאמת תבניות

אחת הנקודות המשמעותיות ביותר בהגנתו של אלטמן על ההרחבה היא המעבר של ה-LLMs מחיזוי טקסט בלבד לכלים המסוגלים להסקה (reasoning) מקורית. הוא ציין אבן דרך אחרונה שבה מודל של OpenAI הפרך בהצלחה השערה מתמטית שנותרה ללא פתרון על ידי מומחים אנושיים במשך תקופה ארוכה.

התפתחות זו היא קריטית מכיוון שהיא קוראת תיגר על הנרטיב לפיו LLMs הם בסך הכל "תוכים סטוכסטיים" שאינם מסוגלים לגילוי אמיתי. "ברור מאוד ש-LLMs מסוגלים להבין ידע חדש," הצהיר אלטמן, וציין כי הקהילה המתמטית מתמודדת כעת באופן פעיל עם ההשלכות של הוכחות מונעות AI. שינוי זה מרמז כי הרחבה אינה רק משפרת את שטף הדיבור; היא מרחיבה את אופק היכולת הקוגניטיבית.

החזית: הסקה מול משימות ארוכות טווח

למרות האופטימיות שלו, אלטמן נשאר מציאותי בנוגע למגבלות הנוכחיות של הטכנולוגיה. הוא ציין פער ביצועים מובהק בכל הנוגע ל"משימות ארוכות טווח" (long-horizon tasks) — תהליכי עבודה מורכבים הדורשים שיפוט גבוה ומתמשך ותכנון רב-שלבי לאורך תקופות ממושכות. בתחומים ספציפיים אלו, הוא הודה ש-LLMs עדיין "נראים גרועים בהרבה מאנשים".

עבור נוף ה-AI הרחב יותר, הבחנה זו מגדירה את חזית המחקר הבאה. התעשייה עוברת משלב של "הרחבה לצורך ידע" לשלב של "הרחבה לצורך הסקה וסוכנות" (agency). בעוד חברות כמו OpenAI ו-Anthropic (בהובלת המנכ"ל דריו אמודיי, שחולק את אמונתו של אלטמן בהרחבה) ממשיכות להזרים מיליארדים לכוח מחשוב, המטרה היא לגשר על הפער בין אינטליגנציה רגעית לבין אוטונומיה אמינה וארוכת טווח.

נקודות מפתח

• ההרחבה היא המנוע העיקרי: אלטמן טוען כי הערכת חסר של ההשפעה של הגדלת כוח המחשוב והנתונים עיכבה היסטורית את קצב הפריצות ב-AI.
• גילוי על פני חיקוי: היכולת של מודלים של OpenAI לפתור השערות מתמטיות מורכבות מוכיחה ש-LLMs נעים לעבר יצירת ידע אמיתית.
• צוואר הבקבוק הבא: בעוד שההרחבה פותרת בעיות רבות, ביצועים ברמת אדם במשימות ארוכות טווח הדורשות שיפוט גבוה נותרים המכשול העיקרי הבא של התעשייה.