Anthropic-ന്റെ പുതിയ ബീറ്റാ ഹെഡർ Claude 3.7 Sonnet-ൽ ടൂൾ കോളുകളുടെ (tool calls) ടോക്കൺ ചിലവ് ഏകദേശം 14 ശതമാനം കുറയ്ക്കുന്നു. ഇത് AI ഏജന്റുകളുടെ പ്രതിമാസ ബില്ലിൽ ചെറിയ കുറവുണ്ടാക്കാനും ലേറ്റൻസിയിൽ (latency) നേരിയ മെച്ചം നൽകാനും സഹായിക്കുന്നു.

ടൂൾ ഉപയോഗം എന്തിനാണ് കൂടുതൽ ടോക്കണുകൾ ഉപയോഗിക്കുന്നത്

Claude-മായി ഒരു ഏജന്റ് നടത്തുന്ന ഓരോ ഇടപാടിലും (turn) മൂന്ന് ടോക്കൺ അധിഷ്ഠിത ഘട്ടങ്ങളുണ്ട്:

  • Tool definitions – പ്രോംപ്റ്റിന്റെ ഭാഗമായി നിങ്ങൾ അയക്കുന്ന പേരുകളും JSON സ്കീമുകളും.
  • Tool calls – ഒരു ടൂൾ ഉപയോഗിക്കാൻ തീരുമാനിക്കുമ്പോൾ മോഡൽ നിർമ്മിക്കുന്ന സ്ട്രക്ചർഡ് ഔട്ട്‌പുട്ട്.
  • Tool results – നിങ്ങളുടെ കോഡ് മോഡലിന് തിരികെ നൽകുന്ന ഡാറ്റ.

ആദ്യത്തെയും മൂന്നാമത്തെയും ഘട്ടങ്ങൾ ഇൻപുട്ട് ടോക്കണുകളാണ്; രണ്ടാമത്തെ ഘട്ടം ഔട്ട്‌പുട്ട് ടോക്കണുകളാണ്. ഇൻപുട്ടിനേക്കാൾ കൂടുതൽ ഔട്ട്‌പുട്ടിനാണ് Claude ചാർജ് ചെയ്യുന്നത് എന്നതിനാൽ, മൊത്തം ടോക്കൺ എണ്ണം സമാനമായി നിലനിന്നാലും ഔട്ട്‌പുട്ട് ടോക്കണുകൾ കുറയ്ക്കുന്നത് ചിലവ് കുറയ്ക്കാൻ സഹായിക്കും.

ബീറ്റാ ഹെഡർ

token-efficient tool use എന്ന് പേരിട്ട ഒരു ബീറ്റാ ഫീച്ചർ Anthropic പ്രഖ്യാപിച്ചു. HTTP ഹെഡർ 

anthropic-beta: token-efficient-tools-2025-02-19

ചേർക്കുന്നത് ഈ ഒപ്റ്റിമൈസേഷൻ പ്രവർത്തനക്ഷമമാക്കും, എന്നാൽ ഇത് Claude 3.7 Sonnet-ലേക്ക് അയക്കുന്ന റിക്വസ്റ്റുകളിൽ മാത്രമേ ലഭ്യമാകൂ. മറ്റ് ഏതെങ്കിലും മോഡലുകളിലേക്കാണ് ഹെഡർ അയക്കുന്നതെങ്കിൽ, റിക്വസ്റ്റ് മാറ്റമില്ലാതെ തുടരും; ഹെഡർ ഒരു പിശക് (error) കാണിക്കാതെ അവഗണിക്കപ്പെടും.

മോഡലിന്റെ ടൂൾ-കോൾ ഔട്ട്‌പുട്ട് കംപ്രസ്സ് ചെയ്യുന്നതിലൂടെയാണ് ഈ ഒപ്റ്റിമൈസേഷൻ പ്രവർത്തിക്കുന്നത്, ഇത് ആ ഘട്ടത്തിലെ ഔട്ട്‌പുട്ട് ടോക്കൺ എണ്ണത്തിൽ ഏകദേശം 14 ശതമാനം കുറവ് വരുത്തുന്നു.

നിങ്ങൾക്ക് യഥാർത്ഥത്തിൽ എത്ര ലാഭിക്കാം

ഇൻപുട്ട് ടോക്കണുകളേക്കാൾ വില കൂടിയതാണ് ഔട്ട്‌പുട്ട് ടോക്കണുകൾ, അതിനാൽ ഔട്ട്‌പുട്ടിലെ 14 ശതമാനം കുറവ് മൊത്തം ബില്ലിൽ ആനുപാതികമായ കുറവ് വരുത്തില്ല. ഒരു സാധാരണ നാല് ഘട്ടങ്ങളുള്ള ഏജന്റ് ലൂപ്പിൽ, ടൂൾ ഡെഫനിഷനുകൾ പലപ്പോഴും ഇൻപുട്ട് ചിലവിന്റെ വലിയൊരു ഭാഗമായിരിക്കും, ചിലപ്പോൾ ഉപയോഗിക്കുന്ന ടോക്കണുകളുടെ പകുതിയിലധികവും ഇവയായിരിക്കും. അത്തരം സാഹചര്യങ്ങളിൽ, ഔട്ട്‌പുട്ട് ടോക്കണുകളിലെ 14 ശതമാനം ലാഭം മൊത്തം ചാർജിൽ ഏകദേശം 3 ശതമാനം കുറവ് മാത്രമേ നൽകുന്നുള്ളൂ.

അതുകൊണ്ട് ഈ ലാഭത്തിന്റെ കണക്ക് കുറഞ്ഞതായി തോന്നാമെങ്കിലും, അധിക ചിലവില്ലാതെ ഈ മാറ്റം കൊണ്ടുവരാം, കൂടാതെ ഇത് ലേറ്റൻസിയിൽ നേരിയ മെച്ചവും നൽകുന്നു: കുറഞ്ഞ ഔട്ട്‌പുട്ട് ടോക്കണുകൾ എന്നാൽ മോഡൽ ജനറേഷൻ കുറച്ചുകൂടി വേഗത്തിൽ പൂർത്തിയാക്കും എന്നാണ് അർത്ഥം.

കൂടുതൽ ലാഭത്തിന് വ്യത്യസ്ത തന്ത്രങ്ങൾ ആവശ്യമാണ്

ചിലവുകൾ ഗണ്യമായി കുറയ്ക്കുക എന്നതാണ് ലക്ഷ്യമെങ്കിൽ, ഈ ഹെഡർ മാത്രം മതിയാകില്ല. വലിയ ലാഭമുണ്ടാക്കാൻ സഹായിക്കുന്ന മൂന്ന് പ്രായോഗിക മാർഗങ്ങൾ ഇവയാണ്:

  • Prompt caching – ടൂൾ ഡെഫനിഷനുകൾ ഒരിക്കൽ സേവ് ചെയ്യുകയും അടുത്ത തവണ വിളിക്കുമ്പോൾ ആ കാഷഡ് (cached) പതിപ്പ് തന്നെ ഉപയോഗിക്കുകയും ചെയ്യുക. പുതിയ ഇൻപുട്ട് ടോക്കണുകളെ അപേക്ഷിച്ച് കാഷഡ് റീഡുകൾക്ക് കുറഞ്ഞ നിരക്കിലാണ് ബില്ല് വരുന്നത്.
  • Trim the tool set – നിലവിലെ ടാസ്കിന് അത്യാവശ്യമായ ടൂളുകൾ മാത്രം ഉൾപ്പെടുത്തുക. ഓരോ അധിക ടൂളും ഓരോ റിക്വസ്റ്റിലും അതിന്റെ ഡെഫനിഷൻ കൂടി ചേർക്കുന്നതിനാൽ ഇൻപുട്ട് ചിലവ് വർദ്ധിക്കുന്നു.
  • Slim down tool results – മോഡലിന് യഥാർത്ഥത്തിൽ ആവശ്യമുള്ള ഫീൽഡുകൾ മാത്രം തിരികെ നൽകുക. സംഭാഷണത്തിലേക്ക് തിരികെ നൽകുന്ന വലിയ API റെസ്പോൺസുകൾ ഇൻപുട്ട് ടോക്കണുകളുടെയും സംഭാഷണ ചരിത്രത്തിന്റെയും (conversation history) അളവ് വർദ്ധിപ്പിക്കുന്നു.

ഈ രീതികൾ പിന്തുടരുന്നത് ബീറ്റയിലൂടെ ലഭിക്കുന്ന 3 ശതമാനത്തേക്കാൾ വളരെ കൂടുതൽ തുക ലാഭിക്കാൻ സഹായിക്കും.

ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

ഈ ടോക്കൺ-എഫിഷ്യന്റ് മോഡ് എപ്പോൾ ബീറ്റയിൽ നിന്ന് ഒരു ഡിഫോൾട്ട് ഫീച്ചറായി മാറുമെന്ന് Anthropic വ്യക്തമാക്കിയിട്ടില്ല. Claude 3.7 Sonnet-ന് പുറമെ മറ്റ് മോഡലുകൾക്കും പിന്തുണ നൽകുന്നതിനെക്കുറിച്ചോ കൂടുതൽ ആഴത്തിലുള്ള ടോക്കൺ കംപ്രഷൻ സാങ്കേതികവിദ്യകൾ അവതരിപ്പിക്കുന്നതിനെക്കുറിച്ചോ ഉള്ള ഭാവി അറിയിപ്പുകൾ ഡെവലപ്പർമാർ ശ്രദ്ധിക്കേണ്ടതാണ്. ഉപയോഗ രീതികൾ മാറുന്നതിനനുസരിച്ച്, ഓരോ റിക്വസ്റ്റിലെയും ടോക്കൺ വിഭജനം നിരീക്ഷിക്കുന്നത് യഥാർത്ഥ സ്വാധീനം മനസ്സിലാക്കാൻ സഹായിക്കും.

ചുരുക്കത്തിൽ

ടൂൾ-കോൾ ഔട്ട്‌പുട്ട് ടോക്കണുകൾ ഏകദേശം 14 ശതമാനം കുറയ്ക്കുന്ന, അധിക ചിലവില്ലാത്ത ഒരു ലളിതമായ മാറ്റമാണ് ഈ ബീറ്റാ ഹെഡർ. ഇത് ബില്ലിൽ ചെറിയ കുറവും വേഗതയിൽ നേരിയ വർദ്ധനവും നൽകുന്നു. ഏജന്റ് ചിലവുകൾ കൂടുതലായവർക്ക് ഈ ഹെഡർ ഒരു സഹായകരമായ കൂട്ടിച്ചേർക്കലാണ്, എന്നാൽ പ്രോംപ്റ്റുകൾ കാഷെ ചെയ്യുക, ടൂളുകളുടെ ഉപയോഗം പരിമിതപ്പെടുത്തുക, കുറഞ്ഞ ഡാറ്റ മാത്രം നൽകുക എന്നിവയിലൂടെ മാത്രമേ യഥാർത്ഥ ലാഭം നേടാൻ കഴിയൂ.

Source: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l