קופסת ניתוב מודלי ה-AI של פנדורה
המאמר החדש של DeepMind מציע מסגרת עבודה (framework) של "קופסת פנדורה" המפחיתה את תקורה (overhead) הניתוב בשיעור של עד 70%, תוך שמירה על ביצועי המשימה ללא שינוי.
למה עלויות ניתוב חשובות
כאשר שירות מקבל בקשה, עומד לרשותו לעיתים קרובות "תפריט" של מודלים – חלקם מהירים אך גסים, ואחרים איטיים אך מדויקים. בחירת המודל הטוב ביותר כרוכה בעלות של כוח מחשוב וכסף. עליך להריץ בדיקה מהירה, לשלוף נתונים חיצוניים או להפעיל כלי עזר לפני שתוכל לדעת איזה מודל מתאים.
האנלוגיה של קופסת פנדורה
DeepMind ממפה את בעיית הניתוב על חידת "קופסת פנדורה" הקלאסית: כל מודל הוא קופסה אטומה המסתירה את ביצועיו בשאילתה הנוכחית. פתיחת קופסה צורכת משאבים, לכן עליך להחליט אם הרווח הפוטנציאלי מצדיק את ההוצאה. מסגרת העבודה ממסדת את הטרייד-אוף (trade-off) הזה ומספקת שני מנגנונים קונקרטיים.
Pandora’s Router – מקבל החלטות מרכזי
הנתב (router) מריץ תחילה אומדן זול ו"רועש" כדי להעריך את הפוטנציאל של המודל. רק אם השיפור הצפוי לעומת המודל הטוב ביותר כרגע עולה על "מחיר שמירה" (reservation price) שנקבע מראש, הוא משלם עבור הערכה מדויקת יותר. על ידי סירוב לבחון כל מודל, הנתב מקצץ משמעותית את תקציב הבדיקה ועדיין מציף את האופציה בעלת הביצועים הגבוהים ביותר.
Pandora’s Bidder – שוק מבוזר
בגרסת ה-bidder, כל ספק מודל מחליט אם להוציא כסף על הערכה עצמית שעשויה להביא לזכייה בחוזה. הספקים מגישים הצעות (bids) רק כאשר הם צופים שסיכויי הזכייה יכריעו את עלות ההערכה לטובתם. זה יוצר שוק שבו הערכות יקרות מתבצעות רק כאשר התמורה גבוהה מספיק.
תוצאות בשלושה תחומים
המחברים בדקו את שני המנגנונים ב:
- הסקה מתמטית – בחירת המודל שפותר בעיה בצורה המדויקת ביותר.
- יצירה מוגברת בשליפה (RAG) – בחירת מערכת השליפה המספקת את ההקשר הרלוונטי ביותר לפני שמודל שפה מייצר תשובה.
- בחירת embedding בקנה מידה גדול – בחירת ה-encoder המניב את ייצוג הווקטור הטוב ביותר לחיפוש דמיון.
בכל מקרה, Pandora’s Router רשם את המדד הנמוך ביותר של שילוב עלות-ועד-שגיאה (cost-plus-error), ועקף מדדי ייחוס (baselines) שבודקים תמיד כל מודל או לעולם לא בודקים כלל. המערכת מסתגלת באופן אוטומטי: כאשר עלויות הבדיקה עולות, היא בודקת פחות מודלים; כאשר הן יורדות, היא מגבירה את הבדיקה. החיסכון המדווח נע בין 30% ל-70% מהוצאות הניתוב, ללא ירידה מדידה באיכות המשימה הסופית.
שורה תחתונה: ככל שתקציבי ההסקה (inference) מתנפחים, ההחלטה מתי להפסיק לבחון מודלים טובים יותר הופכת לקריטית בדיוק כמו בחירת המודל עצמו. קופסת פנדורה הופכת הוצאה נסתרת למנוף שניתן לשלוט בו.