רק אזור אחד מתוך 33 האזורים של AWS Bedrock — us-west-2 — מאפשר לבצע fine-tuning למודל Llama 3.3 בעל 70 מיליארד פרמטרים. מפתחים נאלצים או לחבר יחד תהליכי עבודה (pipelines) חוצי-אזורים או להתמודד עם פתרון עוקף מסורבל.

למה התגלית הזו חשובה

דף התמחור הציבורי של AWS עדיין מציג עלויות אימון עבור סדרת Llama 2 הישנה יותר. משפחות Llama 3.1 ו-3.3 החדשות יותר חסרות לחלוטין. מהנדסים נאלצים לנחש אילו אזורים באמת תומכים ב-fine-tuning, כמה זמן משימות ימתינו בתור, והאם זמן המתנה (idle time) יחויב.

המספרים היבשים

  • us-west-2 – האזור היחיד שבו fine-tuning עבור Llama 3.3 70B עובד.
  • us-east-1 – מודלים שנבנו על ידי Amazon בלבד; ללא fine-tuning עבור Llama או Anthropic.
  • eu-west-2 (London) – מבצע fine-tuning למודל בודד שאינו Llama.
  • כל שאר האזורים – מחזירים שגיאות מסוג “model not available” עבור Llama 3.3 70B.

אם אתם זקוקים למודל Llama 3.3 70B שעבר fine-tuning מותאם אישית, הריצו את המשימה ב-us-west-2 והעבירו את הנתונים בין אזורים, או נסו את נתיב ה-"Custom Model Import", שניסיון של הכותב בו נכשל עם שגיאת חומרה כללית.

Custom Model Import: עיקוף מסוכן

התיעוד של AWS טוען ש-"Custom Model Import" יכול להביא משקלים (weights) מתחת ל-200 GB לכל אזור, כולל eu-central-1. במציאות, ניסיונות לייבא את Llama 3.3 70B (שהוא הרבה מעבר לגודל הזה) נתקלים שוב ושוב ב-"hardware error". נכון לעכשיו, האפשרות הבטוחה ביותר נותרת ה-endpoint המקורי של fine-tuning ב-us-west-2.

שני טריקים שחוסכים כסף (ושפיות)

  1. אל תסמכו על דגל ה-"InProgress" ברמה העליונה. משימה עשויה לשבת בתור מנוהל על ידי AWS במשך שעות תחת סטטוס זה, בזמן ששום חישוב (compute) לא מתבצע. החיוב מתחיל רק כאשר השדה המקונן trainingDetails משתנה ל-"Running". בדקו את הדגל הפנימי כדי להימנע מתשלום על זמן המתנה בתור.
  2. סבלנות מנצחת אימפולסיביות. משימת בדיקה אחת נשארה בתור במשך 23 שעות לפני שהאימון החל, והסתיימה ללא תקלות. ביטול המשימה והרצה מחדש דחפו אותה לסוף התור, מה שהאריך את זמן ההמתנה הכולל. זמן ההמתנה בתור הוא בחינם; העלות מתחילה רק ברגע שמופעי (instances) ה-GPU מופעלים.

לקחים נוספים מהשטח

  • סכמות המודל שונות. Llama 3.3 ו-Llama 3.1 משתמשים באובייקטי קונפיגורציה שונים. העתקה והדבקה של JSON schema מגרסה אחת לאחרת תגרום לשגיאות אימות (validation errors), למרות שמגבלות כמו אורך טוקנים (token length) זהות.
  • מוזרויות של מכסות (Quotas). המגבלה על "Custom models with a creating status" היא לרוב נמוכה בהרבה מהמכסה הכוללת של המשימות. אם אתם נתקלים בשגיאת "quota exceeded" בזמן שמשימה קודמת עדיין מציגה "creating", מחקו את הרשומה הישנה לפני שתפעילו משימה חדשה.
  • אחסון מצטבר. כל checkpoint שעבר fine-tuning צורך אחסון S3 שחויב בתעריפים סטנדרטיים. השארת גרסאות ישנות ללא טיפול תנפח את החשבון החודשי שלכם מבלי לספק ערך מוסף.

שורה תחתונה

אם הפרויקט שלכם תלוי במודל Llama 3.3 70B שעבר fine-tuning, תכננו להריץ את השלב הזה ב-us-west-2, או התכוננו לשיטת ניסוי וטעייה עם ייבוא מותאם אישית. ודאו את סטטוס התור ברמה הגרנולרית, הימנעו מביטול משימות שממתינות זמן רב, ונטרו מקרוב את השימוש באחסון ובמכסות.