Anthropic નું નવું બીટા હેડર Claude 3.7 Sonnet માટે ટૂલ કોલ્સ (tool calls) ના ટોકન ખર્ચમાં લગભગ 14 ટકાનો ઘટાડો કરે છે, જે AI એજન્ટ્સના માસિક બિલમાં થોડો ઘટાડો અને લેટન્સી (latency) માં થોડો ફાયદો આપે છે.

ટૂલનો ઉપયોગ ટોકન્સ કેમ વધારે છે

Claude સાથે એજન્ટ દ્વારા લેવામાં આવતા દરેક સ્ટેપમાં ત્રણ ટોકન-આધારિત પગલાં સામેલ હોય છે:

  • Tool definitions – નામો અને JSON schemas જે તમે પ્રોમ્પ્ટના ભાગ તરીકે મોકલો છો.
  • Tool calls – સ્ટ્રક્ચર્ડ આઉટપુટ જે મોડેલ ત્યારે જનરેટ કરે છે જ્યારે તે કોઈ ટૂલનો ઉપયોગ કરવાનું નક્કી કરે છે.
  • Tool results – ડેટા જે તમારો કોડ મોડેલને પરત કરે છે.

પ્રથમ અને ત્રીજું સ્ટેપ ઇનપુટ ટોકન્સ છે; બીજું સ્ટેપ આઉટપુટ ટોકન્સ છે. Claude ઇનપુટ કરતા આઉટપુટ માટે વધુ ચાર્જ લેતું હોવાથી, જો કુલ ટોકન સંખ્યા સમાન રહે તો પણ આઉટપુટ ટોકન્સ ઘટાડવાથી ખર્ચ ઓછો થઈ શકે છે.

બીટા હેડર

Anthropic એ token-efficient tool use નામનું બીટા ફીચર જાહેર કર્યું છે. HTTP હેડર 

anthropic-beta: token-efficient-tools-2025-02-19

ઉમેરવાથી ઓપ્ટિમાઇઝેશન સક્રિય થાય છે, પરંતુ ફક્ત ત્યારે જ જ્યારે રિક્વેસ્ટ Claude 3.7 Sonnet માટે હોય. જો હેડર અન્ય કોઈ મોડેલને મોકલવામાં આવે, તો રિક્વેસ્ટમાં કોઈ ફેરફાર વગર પ્રક્રિયા આગળ વધશે; હેડરને ભૂલ (error) વગર અવગણવામાં આવશે.

આ ઓપ્ટિમાઇઝેશન મોડેલના ટૂલ-કોલ આઉટપુટને કોમ્પ્રેસ કરીને કામ કરે છે, જે તે સ્ટેપ માટે આઉટપુટ ટોકન સંખ્યામાં લગભગ 14 ટકાનો ઘટાડો કરે છે.

તમે ખરેખર કેટલા બચત કરો છો

આઉટપુટ ટોકન્સ ઇનપુટ ટોકન્સ કરતા મોંઘા હોય છે, તેથી તે ભાગમાં 14 ટકાનો ઘટાડો કરવાથી કુલ બિલમાં પ્રમાણસર ઘટાડો થતો નથી. એક સામાન્ય ચાર-સ્ટેપ એજન્ટ લૂપમાં, ટૂલ ડેફિનેશન ઘણીવાર ઇનપુટ ખર્ચમાં મોટો હિસ્સો ધરાવે છે, જે ક્યારેક વપરાયેલા કુલ ટોકન્સના અડધાથી પણ વધુ હોય છે. આવી સ્થિતિમાં, આઉટપુટ ટોકન્સ પરની 14 ટકાની બચત સામાન્ય રીતે કુલ ચાર્જમાં માત્ર લગભગ 3 ટકાનો જ ઘટાડો કરે છે.

તેથી, બચતનો આ મુખ્ય આંકડો સામાન્ય લાગે છે, પરંતુ આ ફેરફાર કોઈપણ વધારાના ખર્ચ વગર આવે છે અને લેટન્સીમાં થોડો સુધારો લાવે છે: ઓછા આઉટપુટ ટોકન્સનો અર્થ છે કે મોડેલ જનરેશન થોડું ઝડપી પૂર્ણ કરે છે.

મોટી બચત માટે અલગ તકનીકોની જરૂર છે

જો ધ્યેય ખર્ચમાં નોંધપાત્ર ઘટાડો કરવાનો હોય, તો માત્ર હેડરથી તે શક્ય નથી. ત્રણ વ્યવહારુ પદ્ધતિઓ વધુ ફાયદો આપી શકે છે:

  • Prompt caching – ટૂલ ડેફિનેશનને એકવાર સ્ટોર કરો અને પછીના કોલ્સમાં કેશ્ડ (cached) વર્ઝનનો ફરીથી ઉપયોગ કરો. કેશ્ડ રીડ્સ માટે ફ્રેશ ઇનપુટ ટોકન્સ કરતા ઓછી દરે બિલિંગ કરવામાં આવે છે.
  • Trim the tool set – ફક્ત એવા જ ટૂલ્સનો સમાવેશ કરો જે વર્તમાન કાર્ય માટે આવશ્યક હોય. દરેક વધારાનું ટૂલ દરેક રિક્વેસ્ટમાં તેની ડેફિનેશન ઉમેરે છે, જેનાથી ઇનપુટ ખર્ચ વધે છે.
  • Slim down tool results – ફક્ત તે જ ફીલ્ડ્સ પરત કરો જે મોડેલને ખરેખર જરૂર હોય. મોટા API રિસ્પોન્સ જે વાતચીતમાં પાછા મોકલવામાં આવે છે, તે ઇનપુટ ટોકન્સ અને વાતચીતના ઇતિહાસ (conversation history) બંનેને વધારે છે.

આ પદ્ધતિઓ અપનાવવાથી કુલ ખર્ચમાં નોંધપાત્ર ઘટાડો કરી શકાય છે, જે માત્ર બીટા ફીચરથી મળતા 3 ટકાના ઘટાડા કરતા ઘણો વધારે છે.

શું ધ્યાન રાખવું

Anthropic એ હજુ સુધી એવું સ્પષ્ટ કર્યું નથી કે ટોકન-એફિશિયન્ટ મોડ ક્યારે—અથવા જો—બીટામાંથી ડિફોલ્ટ ફીચરમાં રૂપાંતરિત થશે. ડેવલપર્સે ભવિષ્યની જાહેરાતો પર નજર રાખવી જોઈએ જે Claude 3.7 Sonnet થી આગળ ટેકો વધારી શકે અથવા વધુ ઊંડી ટોકન-કોમ્પ્રેસન તકનીકો રજૂ કરી શકે. વપરાશની પદ્ધતિઓ બદલાતી રહે તેમ, પ્રતિ-રિક્વેસ્ટ ટોકન બ્રેકડાઉનનું નિરીક્ષણ કરવાથી વાસ્તવિક દુનિયામાં તેની અસર કેટલી છે તે જાણવામાં મદદ મળશે.

નિષ્કર્ષ

બીટા હેડર એ એક મફત અને ઓછી મહેનતવાળું ફેરફાર છે જે ટૂલ-કોલ આઉટપુટ ટોકન્સમાં લગભગ 14 ટકાનો ઘટાડો કરે છે, જેનાથી બિલમાં થોડો ઘટાડો અને ઝડપમાં થોડો વધારો થાય છે. જેઓ પહેલેથી જ ઊંચા એજન્ટ ખર્ચ સાથે ઝઝૂમી રહ્યા છે, તેમના માટે આ હેડર એક ઉપયોગી એડ-ઓન છે, પરંતુ સાચી બચત પ્રોમ્પ્ટ કેશિંગ, ટૂલ્સનો ઉપયોગ મર્યાદિત રાખવાથી અને વધુ સચોટ (leaner) પરિણામો પરત કરવાથી થશે.

સ્ત્રોત: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l