תמחור של מודלי שפה גדולים (LLM) נראה פשוט על פני השטח. אתה משלם לפי טוקן. אבל כל מי שמריץ עומסי עבודה בסביבת ייצור (production) יודע שהמציאות מורכבת יותר. התעריפים משתנים ללא התראה. מדרגות התמחור עוברות ארגון מחדש. שברי סנט נעלמים פה ומופיעים שם, ופתאום ההוצאה החודשית שלך קופצת ב-20 אחוזים. זו הסיבה שעדכוני התמחור האחרונים של שלושה ספקים — Ambient, Novita, ו-StreamLake — ראויים לתשומת לבכם המיידית. אם אתם משתמשים באחת הפלטפורמות הללו, המספרים שתקצבתם בחודש שעבר כבר אינם אמינים.
המשקל הנסתר של כלכלת הטוקנים
רוב המפתחים מתמקדים בתעריף הבסיס. טוקני קלט עולים ככה. טוקני פלט עולים ככה. וזהו. אבל זה לא המצב. העלות האמיתית של אינטגרציית LLM כוללת לוגיקת ניסיונות חוזרים (retry logic), בקשות שנכשלו אך עדיין חויבו, ריפוד חלון ההקשר (context window padding), ופרומפטים של מערכת (system prompts) שגוזלים מהקצאת הקלט שלכם בכל סיבוב. כשספק מעדכן את התמחור שלו, הוא כמעט אף פעם לא מעלה את כל התעריפים באופן שווה. לפעמים הקלט זול יותר בעוד הפלט יקר יותר. לפעמים מודלים עם הקשר ארוך (long-context) עוברים למדרגה נפרדת. לפעמים השינוי אינו בתעריף לטוקן בכלל, אלא בעלות המינימום של המחשוב או בהנחה על עיבוד אצווה (batch processing).
אם אתם מנהלים עלויות עבור צוות, עליכם להתייחס לעדכונים הללו כלאירועי תשתית, ולא כהערות שוליים קטנות. דף תמחור הוא הסכם רמת שירות (SLA) הכתוב בדולרים. כשהוא משתנה, ייתכן שהארכיטקטורה שלכם תצטרך להשתנות יחד איתו.
עדכון התמחור של Ambient
Ambient התאימה את תמחור המודלים שלה, מה שאומר שכל אינטגרציה שאתם מריצים מול נקודות הקצה (endpoints) שלהם זקוקה למבט רענן. התחילו עם הברור: השוו את תעריפי הקלט והפלט החדשים מול החשבונית האחרונה שלכם. אל תסתמכו על הזיכרון. פתחו את שני הדפים זה לצד זה.
חפשו ספציפית תמחור של חלון הקשר (context-window). חלק מהספקים גובים תעריף קבוע אחד עד ל-4K טוקנים, ואז המחיר עולה בנקודות של 8K, 32K או 128K. אם Ambient הקשיחה את המדרגות הללו או הוסיפה חדשות, משימות סיכום מסמכים ארוכים שלכם עלולות פתאום לעלות משמעותית יותר מאשר בוטים של שאלות ותשובות (Q&A). בדקו גם אם הם שינו את ההגדרה שלהם למה נחשב כטוקן פלט. ספקים מסוימים מחייבים על טוקנים של הסקה פנימית (internal reasoning) או קריאת כלים (tool-calling) כפלט; אחרים לא. העמימות הזו הופכת להפתעות בחשבונית במהירות.
אם אתם מבצעים מטמון (caching) לתגובות, ודאו אם Ambient שינתה את התמחור עבור פגיעה במטמון (cache hit). חלק מהספקים מציעים הנחה על פרומפטים חוזרים. אם ההנחה הזו הצטמצמה, ייתכן שאסטרטגיית הניקוי הכפול (deduplication) שלכם תזדקק לחיזוק.
תעריפי ה-Inference של Novita
Novita פועלת כפלטפורמת הסקה (inference platform) שבה מפתחים ניגשים למגוון מודלים דרך נקודות קצה מאוחדות. הנוחות הזו היא בעלת ערך, אך היא גם אומרת ששינויי תמחור יכולים להשפיע על משפחות מודלים מרובות בבת אחת. התמחור המעודכן של Novita עשוי להשפיע על הכל, ממודלי embedding קטנים ועד למנועי הסקה (reasoning engines) גדולים.
שלפו את יומני השימוש (usage logs) שלכם וקבצו אותם לפי מודל. ייתכן ש-Novita שמרה על תעריפים קבועים עבור מודלי צ'אט כלליים תוך העלאתם עבור וריאציות ספציפיות לראייה (vision) או לקוד. או שהם עשויים להציג תמחור אזורי שמנתב את התעבורה האירופית שלכם דרך צמתים (nodes) יקרים יותר. אם הגדרתם בחומרה (hardcoded) בחירות מודל באפליקציה שלכם, עלייה בתעריף של מודל אחד עשויה להפוך חלופה איטית מעט יותר לבחירה הרציונלית.
שימו לב לעמלות תפוקה (throughput). פלטפורמות כמו Novita לעיתים מפרידות בין עלות הטוקנים לבין מהירות המסירה. אם אתם משלמים עבור נקודות קצה פרימיום בעלות שיהוי נמוך (low-latency), בדקו אם העמלה הזו עלתה. עבור עומסי עבודה של אצווה (batch) או אופליין (offline),