הכותרת (header) החדשה בגרסת הבטא של Anthropic מקטינה את עלות הטוקנים של קריאות כלים (tool calls) בכ-14 אחוזים עבור Claude 3.7 Sonnet, מה שמעניק לסוכני AI הפחתה צנועה בחשבונות החודשיים שלהם ויתרון קטן בשיהוי (latency).

למה שימוש בכלים "אוכל" טוקנים

כל תור שסוכן מבצע מול Claude כולל שלושה שלבים מבוססי טוקנים:

  • הגדרות כלים (Tool definitions) – השמות וסכמות ה-JSON שאתם שולחים כחלק מהפרומפט.
  • קריאות כלים (Tool calls) – הפלט המובנה שהמודל מייצר כשהוא מחליט להפעיל כלי.
  • תוצאות כלים (Tool results) – הנתונים שהקוד שלכם מחזיר למודל.

השלבים הראשון והשלישי הם טוקני קלט (input tokens); השלב השני הוא טוקני פלט (output tokens). מכיוון ש-Claude גובה יותר על פלט מאשר על קלט, צמצום טוקני הפלט יכול להוזיל עלויות גם אם סך הטוקנים נשאר דומה.

כותרת הבטא (The beta header)

Anthropic הכריזה על תכונת בטא בשם token-efficient tool use. הוספת כותרת ה-HTTP 

anthropic-beta: token-efficient-tools-2025-02-19

מפעילה את האופטימיזציה, אך רק כאשר הבקשה מיועדת ל-Claude 3.7 Sonnet. אם הכותרת נשלחת למודל אחר, הבקשה ממשיכה כרגיל; הכותרת פשוט תתעלם ללא שגיאה.

האופטימיזציה פועלת על ידי דחיסת הפלט של קריאות הכלים של המודל, מה שמקצץ כ-14 אחוזים מסך טוקני הפלט בשלב זה.

כמה באמת חוסכים

טוקני פלט יקרים יותר מטוקני קלט, לכן קיצוץ של 14 אחוזים בחלק הזה לא מתרגם לירידה פרופורציונלית בחשבונית הכוללת. בלולאת סוכן טיפוסית בת ארבעה שלבים, הגדרות כלים תופסות לעיתים קרובות את מרבית עלויות הקלט, ולעיתים אף עולות על מחצית מהטוקנים שבשימוש. בתנאים אלו, החיסכון של 14 אחוזים בטוקני הפלט מניב בדרך כלל הפחתה של כ-3 אחוזים בלבד בעלות הכוללת.

לכן, נתון החיסכון המרשים בכותרת עשוי להיראות צנוע, אך השינוי מגיע ללא עלות נוספת ומביא איתו שיפור קל בשיהוי (latency): פחות טוקני פלט משמעותם שהמודל מסיים את היצירה (generation) מהר יותר במעט.

חיסכון גדול יותר דורש טקטיקות אחרות

אם המטרה היא לצמצם את ההוצאות באופן משמעותי, הכותרת לבדה לא תספיק. שלושה מנופים מעשיים יכולים להניב רווחים גדולים יותר:

  • Prompt caching – שמרו את הגדרות הכלים פעם אחת והשתמשו מחדש בגרסה המטופחת (cached) בקריאות הבאות. קריאות מהמטמון (cached reads) מחושבות בתעריף נמוך יותר מטוקני קלט חדשים.
  • צמצום סט הכלים (Trim the tool set) – כללו רק כלים שהם חיוניים למשימה הנוכחית. כל כלי נוסף מוסיף את ההגדרה שלו לכל בקשה, מה שמנפח את עלויות הקלט.
  • צמצום תוצאות הכלים (Slim down tool results) – החזירו רק את השדות שהמודל באמת צריך. תגובות API גדולות שמוזנות חזרה לשיחה מנפחות הן את טוקני הקלט והן את היסטוריית השיחה.

יישום הפרקטיקות הללו יכול לקצץ חלק ניכר מההוצאה הכוללת, הרבה מעבר ל-3 האחוזים שתראו מהגרסת הבטא לבדה.

מה כדאי לעקוב אחריו

Anthropic לא ציינה מתי – או האם – מצב ה-token-efficient יעבור מגרסת בטא לתכונה ברירת מחדל. מפתחים צריכים לעקוב אחר הודעות עתידיות שעשויות להרחיב את התמיכה מעבר ל-Claude 3.7 Sonnet או להציג טכניקות עמוקות יותר לדחיסת טוקנים. מעקב אחר פירוט הטוקנים לכל בקשה יעזור גם לכמת את ההשפעה בעולם האמיתי ככל שדפוסי השימוש ישתנו.

שורה תחתונה

כותרת הבטא היא שינוי (tweak) חינמי וקל לביצוע המקצץ את טוקני הפלט של קריאות הכלים בכ-14 אחוזים, מה שמביא לירידה צנועה בחשבונית ושיפור קל במהירות. עבור כל מי שנאבק כבר בעלויות גבוהות של סוכנים, הכותרת היא תוספת מועילה, אך חיסכון אמיתי יגיע משימוש ב-prompt caching, הגבלת חשיפת כלים והחזרת תוצאות רזות יותר.

מקור: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l