ריץ' סאטון משיק את Oak Lab כדי לחולל מהפכה בסוכני AI אוטונומיים

זוכה פרס טורינג, ריצ'רד סאטון, נכנס רשמית לזירה של עולם הסטארט-אפים עם השקת Oak Lab, מיזם שבסיסו בטורונטו ומטרתו להגדיר מחדש את הבינה המלאכותית. מעבר למגבלות של המודלים הגנרטיביים המודרניים, החברה שואפת לבנות סוכנים אוטונומיים המסוגלים לגילוי אמיתי באמצעות למידה מתמשכת בזמן אמת.

מעבר לחיקוי גנרטיבי

ריצ'רד סאטון, חלוץ בתחום הלמידה מחיזוק (reinforcement learning) המודרנית וחוקר לשעבר ב-Keen Technologies, מאמין שהמסלול הנוכחי של ה-AI פגום מיסודו. בעוד שהתעשייה כיום אובססיבית למודלי שפה גדולים (LLMs), סאטון טוען ששיטות הלמידה העמוקה הללו הן "חלשות ולא יעילות".

לדברי סאטון, ה-AI הגנרטיבי הנוכחי מצטיין בחיקוי אך נכשל בהערכה עצמית. מכיוון שמודלים אלו אינם יכולים להעריך באופן ביקורתי את הפלטים שלהם, הם חסרי יכולת מובנית לגילוי אמיתי או להתקדמות מדעית. המשימה של Oak Lab היא לעבור מעידן ה"אימון הסטטי", שבו מזינים למודלים מאגרי נתונים עצומים ואז מקפיאים אותם, לעבר עתיד של אינטליגנציה דינמית ומתפתחת.

המטרה: למידה בזמן אמת ומודלים של עולם

בשיתוף פעולה עם חוראם ג'אוואד (Khurram Javed), סאטון ממצב את Oak Lab כמי שרודפת אחר חזון המושרש בלמידה מחיזוק מתקדמת. במקום להסתמך על נתונים מוגדרים מראש, Oak Lab שואפת לפתח סוכנים הלומדים באופן רציף מסביבתם.

התוכנית הטכנית מתמקדת בכמה עמודי תווך קריטיים:

  • Internal World Models: בניית סוכנים שאינם רק חוזים את ה-token הבא, אלא מבינים את המכניקה הבסיסית של סביבתם.
  • Autonomous Evaluation: פיתוח מערכות שיכולות לנהל את תהליכי הווריאציה, ההערכה והבחירה שלהן ללא התערבות אנושית.
  • Real-Time Planning: מעבר משידוך תבניות תגובתי לתכנון פרואקטיבי ומכוון מטרה.

סאטון קבע אבן דרך שאפתנית לטווח ארוך עבור המעבדה: יצירת סוכן בעל טריליון פרמטרים המסוגל ללמוד ולתכנן בזמן אמת תוך צריכת 20 וואט בלבד של אנרגיה. יעד זה נותן מענה לאחד צווארי הבקבוק המשמעותיים ביותר ב-AI המודרני — דרישות האנרגיה העצומות של אשכולות מחשוב (compute clusters) מסיביים.

למה זה חשוב לנוף ה-AI

הקמת Oak Lab מסמנת שינוי פרדיגמה פוטנציאלי בתעשיית ה-AI. בעוד שרוב השוק הנוכחי מתמקד בהרחבת ארכיטקטורות transformer ובהגדלת גודל מאגרי הנתונים, סאטון קורא ל"עבודה מחדש יסודית" של הרעיונות הבסיסיים המניעים את התחום.

אם Oak Lab תצליח, התעשייה עשויה להתרחק משיטת ה-"brute force" של הרחבת נתונים לעבר ארכיטקטורות אלגנטיות ויעילות יותר המחקות אינטליגנציה ביולוגית. על ידי מתן עדיפות ללמידה מחיזוק ולאינטראקציה עם הסביבה, סאטון מהמר שהדרך לבינה מלאכותית כללית (AGI) טמונה בניסיון ובאוטונומיה, ולא רק בחיקוי בקנה מידה גדול יותר.

נקודות מרכזיות

  • גישה פילוסופית חדשה: Oak Lab שואפת להחליף את שיטות הלמידה העמוקה ה"חלשות" הנוכחיות בסוכנים הלומדים באמצעות אינטראקציה סביבתית מתמשכת במקום מאגרי נתונים סטטיים.
  • שאיפות ליעילות: הסטארט-אפ שואף לפריצת דרך ביעילות חישובית, במטרה להגיע למודל של טריליון פרמטרים הפועל על 20 וואט בלבד.
  • התמקדות בגילוי: בניגוד ל-AI גנרטיבי, המתמקד בחיקוי, Oak Lab בונה סוכנים המסוגלים להערכה עצמית ותכנון אוטונומי בזמן אמת.