כותרת: שינוי שם של כלי, אובדן כל המטמון
מודל התמחור החדש של Anthropic למטמון (cache) אומר ששינוי של תו בודד — שינוי שם של כלי או הוספת חותמת זמן (timestamp) להנחיית המערכת (system prompt) — יכול להפוך "פגיעה" (hit) זולה במטמון ל"פספוס" (miss) במחיר מלא, מה שמנפח את החשבונות פי עשרות.
השינוי נובע מההנחה הדו-שלבית של Anthropic על שימוש במטמון. עבור מודלים מסוימים, קריאה מהמטמון עולה רק 0.025 × ממחיר הקלט הרגיל; עבור אחרים, ההנחה היא 0.1 ×. ההנחה חלה רק כאשר הבקשה תואמת בדיוק לרשומה שנשמרה במטמון בעבר. "פספסים" (misses) מחושבים לפי התעריף הבסיסי, כך שהפער בין "פגיעה" ל"פספוס" מתרחב באופן דרמטי. בפועל, שינוי קטן בהנחיה (prompt) יכול להקפיץ את העלות עד לארבעים פי הסכום המצופה.
למה השינוי הזה חשוב
Anthropic הוסיפה את שכבת המטמון כדי לעודד שימוש חוזר בהנחיות זהות, דפוס נפוץ בסוכנים (agents) שקוראים שוב ושוב לאותה ערכת כלים. הרעיון פשוט: לשמור את התוצאה של שילוב בין הנחיה לכלי פעם אחת, ואז לשלוף אותה בעלות נמוכה בקריאות הבאות. המכפילים החדשים הופכים את צד ה"שליפה" להרבה יותר זול, אך הם גם הופכים את הקנס על "פספוס" (miss) להרבה יותר כבד.
מפתחים שבנו סוכנים סביב הנחיות מערכת יציבות רואים כעת כל סטייה — מכוונת או מקרית — שוברת את שרשרת המטמון. התוצאה היא מס נסתר על השירות: יחס פגיעה (cache-hit ratio) נמוך יותר מתרגם ישירות לעלויות תפעול גבוהות יותר.
מה שובר את המטמון
התיעוד של Anthropic מתאר היררכיה שבה שינויים ברמות גבוהות יותר מבטלים את כל מה שמתחתיהם. התוצאה המעשית היא שעריכות שנראות בלתי מזיקות יכולות להוביל לחיוב במחיר מלא.
- הגדרות כלים (Tool definitions) – הוספה, הסרה, שינוי שם של כלי, או שינוי התיאור שלו מוחקים את המטמון עבור הכלים, הנחיית המערכת וכל היסטוריית ההודעות.
- מתג חיפוש באינטרנט (Web-search toggle) – שינוי הערך הבוליאני המאפשר כלי חיפוש באינטרנט מנקה את הנחיית המערכת ואת מטמון ההודעות.
- פרמטר בחירת כלי (Tool-choice parameter) – שינוי הפרמטר שבוחר איזה כלי להריץ מבטל רק את מטמון ההודעות.
- מטען תמונות (Image payloads) – הוספה או הסרה של תמונות משפיעה רק על מטמון ההודעות.
דפוסים נפוצים שמפתחים מפעילים מבלי לשים לב:
- שינוי סדר הכלים – חלק ממאגרי הקוד ממיינים מילוני כלים בכל פריסה (deployment). הסדר החדש יוצר מפתח מטמון שונה, מה שמאלץ "פספוס" בכל פעם.
- הנחיות עם חותמת זמן – הטמעת מחרוזת של "generated at HH:MM:SS" בתוך הנחיית המערכת הופכת כל בקשה לייחודית, מה שמבטיח פספוס.
- רוטציה של מקטעי הנחיה – החלפה של ברכת שלום או באנר גרסה משנה את ה-hash של ההנחיה ושוברת את המטמון.
זיהוי העלות הנסתרת
יומני השימוש (usage logs) של Anthropic חושפים את דינמיקת המטמון באמצעות שלושה שדות:
cache_read_input_tokens– טוקנים שנקראו מרשומה במטמון.cache_creation_input_tokens– טוקנים שגרמו לשמירת רשומה חדשה במטמון.input_tokens– טוקנים שחויבו בתעריף הרגיל (היתרה לאחר קריאות מהמטמון).
עלייה פתאומית ב-input_tokens לצד ירידה ב-cache_read_input_tokens מאותתת שמשהו במבנה ההנחיה (prompt stack) השתנה. ניטור המדדים הללו מאפשר לצוותים להגיב לפני שהחשבון מתנפח.
תגובת המפתחים
אל מול מציאות התמחור החדשה, צוותים רבים מתייחסים כעת ליציבות ההנחיה כמדד ביצועים מרכזי. אסטרטגיות נפוצות כוללות:
- הנחיות מערכת סטטיות – שמירת ההנחיה בקובץ מנוהל גרסאות והזרקתה ללא שינויים בזמן ריצה.
- סדר כלים דטרמיניסטי – הגדרת רשימות כלים ישירות בקוד במקום להסתמך על מיון מילונים או מחוללים חיצוניים.
- הסרת חותמות זמן – העברת מידע לוגים או מידע על זמן לערוץ מטא-דאטה נפרד שאינו משפיע על מחרוזת ההנחיה.
- בדיקות מודעות-מטמון – הוספת בדיקות יחידה (unit tests) שמוודאות שה-hash של ההנחיה המלאה (system + tools + messages) נשאר קבוע לאורך גרסאות שונות.
פרקטיקות אלו מוסיפות עומס הנדסי קטן, אך מגינות מפני ה"מס הנסתר" שמייצג כעת פספוס במטמון.
נקודת המבט של Anthropic
Anthropic טוענת כי ההנחה הגבוהה יותר מעודדת שימוש חוזר, מה שיכול להפחית את עומס המחשוב הכולל בשרתיה. על ידי הפיכת קריאות מהמטמון לזולות משמעותית, הם מקווים שמפתחים יתכננו סוכנים שקוראים לאותה ערכת כלים שוב ושוב, במקום לעצב מחדש את ההנחיות ללא הרף. המחיר הוא קנס גבוה יותר על קריאות שאינן ניתנות לשימוש חוזר, מה שלטענת החברה דוחף מפתחים לעבר היגיינת הנחיות (prompt hygiene) טובה יותר.
מבקרים מציינים כי סוכנים (agents) רבים בעולם האמיתי נדרשים להתאים פרומפטים תוך כדי תנועה — הוספת הקשר (context), חותמות זמן או בחירת כלים דינמית היא לעיתים קרובות הכרחית. עבור עומסי עבודה כאלה, התמחור החדש עלול להפוך את Anthropic לפחות אטרקטיבית בהשוואה לספקים הגובים תעריף קבוע ללא קשר ל-cache hits.
מה כדאי לעקוב אחריו בהמשך
- עדכוני תמחור – Anthropic עשויה לדייק את המכפילים אם משוב מהקהילה יראה שפער ה-hit-miss רחב מדי.
- תכונות cache-control – עדכוני API עתידיים עשויים לאפשר למפתחים לציין אילו חלקים בפרומפט צריכים להיות מוחרגים ממפתח המטמון (cache key), ובכך להציע פתרון ביניים.
- תגובות מתחרים – ספקי LLM אחרים עשויים להתאים את מודלי המטמון שלהם כדי להישאר תחרותיים, בין אם על ידי הצעת תמחור שטוח יותר ובין אם על ידי חשיפת בקרות מטמון מפורטות יותר.
שורה תחתונה
עם מודל התמחור החדש של Anthropic עבור cache, העלות של prompt miss אינה עוד אי-נוחות שולית; זהו מנוף פיננסי שיכול להטות את תקציב הפרויקט באופן דרמטי. שמירה על system prompts, הגדרות כלים ומטא-דאטה רלוונטי כבלתי משתנים (immutable) היא כעת חשובה לא פחות מכתיבת קוד יעיל. צוותים שיחשיבו דטרמיניזם של פרומפטים כמדד מדיד ימנעו חשבונות מפתיעים וישמרו על שליטה בהוצאות על סוכני ה-AI שלהם.