Anthropic-ன் புதிய பீட்டா ஹெடர் (beta header), Claude 3.7 Sonnet-க்கான டூல் கால் (tool call) டோக்கன் செலவை சுமார் 14 சதவீதம் குறைக்கிறது. இது AI ஏஜென்ட்களின் (AI agents) மாதாந்திர கட்டணத்தில் ஒரு சிறிய குறைவையும், வேகமான செயல்பாட்டுச் சாதகத்தையும் (latency edge) வழங்குகிறது.

டூல் பயன்பாடு ஏன் அதிக டோக்கன்களைப் பயன்படுத்துகிறது

Claude உடன் ஒரு ஏஜென்ட் மேற்கொள்ளும் ஒவ்வொரு சுற்றிலும் மூன்று டோக்கன் சார்ந்த நிலைகள் உள்ளன:

  • டூல் வரையறைகள் (Tool definitions) – நீங்கள் ப்ராம்ப்ட்டின் (prompt) ஒரு பகுதியாக அனுப்பும் பெயர்கள் மற்றும் JSON ஸ்கீமாக்கள் (schemas).
  • டூல் அழைப்புகள் (Tool calls) – ஒரு டூலை அழைக்கத் தீர்மானிக்கும் போது மாடல் உருவாக்கும் கட்டமைக்கப்பட்ட வெளியீடு (structured output).
  • டூல் முடிவுகள் (Tool results) – உங்கள் கோட் (code) மாடலுக்குத் திருப்பி அனுப்பும் தரவு.

முதல் மற்றும் மூன்றாவது நிலைகள் இன்புட் (input) டோக்கன்கள்; இரண்டாவது நிலை அவுட்புட் (output) டோக்கன் ஆகும். Claude இன்புட்டை விட அவுட்புட்டிற்கு அதிக கட்டணம் வசூலிப்பதால், மொத்த டோக்கன் எண்ணிக்கை மாறாமல் இருந்தாலும், அவுட்புட் டோக்கன்களைக் குறைப்பதன் மூலம் செலவைக் குறைக்க முடியும்.

பீட்டா ஹெடர் (The beta header)

Anthropic, token-efficient tool use என்ற பெயரில் ஒரு பீட்டா அம்சத்தை அறிவித்துள்ளது. HTTP ஹெடராக 

anthropic-beta: token-efficient-tools-2025-02-19

என்பதைச் சேர்ப்பதன் மூலம் இந்த மேம்படுத்தலை (optimization) செயல்படுத்தலாம், ஆனால் இது Claude 3.7 Sonnet-க்கான கோரிக்கைகளுக்கு (requests) மட்டுமே பொருந்தும். இந்த ஹெடர் வேறு ஏதேனும் மாடலுக்கு அனுப்பப்பட்டால், கோரிக்கை மாற்றமின்றி தொடரும்; ஹெடர் பிழை ஏதுமின்றி புறக்கணிக்கப்படும்.

இந்த மேம்படுத்தல், மாடலின் டூல்-கால் அவுட்புட்டைச் சுருக்குவதன் (compressing) மூலம், அந்த நிலையின் அவுட்புட் டோக்கன் எண்ணிக்கையில் சுமார் 14 சதவீதத்தைக் குறைக்கிறது.

நீங்கள் உண்மையில் எவ்வளவு சேமிக்கிறீர்கள்

அவுட்புட் டோக்கன்கள் இன்புட் டோக்கன்களை விட விலை உயர்ந்தவை, எனவே அந்தப் பகுதியில் 14 சதவீதக் குறைப்பு என்பது மொத்தக் கட்டணத்தில் விகிதாசாரமான குறைவைத் தராது. ஒரு வழக்கமான நான்கு-படி ஏஜென்ட் லூப்பில் (agent loop), டூல் வரையறைகளே பெரும்பாலும் இன்புட் செலவுகளைக் கட்டுப்படுத்துகின்றன; சில நேரங்களில் பயன்படுத்தப்படும் டோக்கன்களில் பாதிக்கும் மேலாக இவை இருக்கலாம். அத்தகைய சூழ்நிலைகளில், அவுட்புட் டோக்கன்களில் கிடைக்கும் 14 சதவீத சேமிப்பு, மொத்தக் கட்டணத்தில் பொதுவாக சுமார் 3 சதவீதக் குறைப்பையே தரும்.

எனவே, தலைப்புச் செய்திகளில் கூறப்படும் இந்தச் சேமிப்புத் தொகை குறைவாகத் தோன்றலாம், ஆனால் இந்த மாற்றம் கூடுதல் செலவின்றி கிடைப்பதோடு, வேகத்தையும் (latency boost) சற்று அதிகரிக்கிறது: குறைவான அவுட்புட் டோக்கன்கள் என்பது மாடல் இன்னும் விரைவாகத் தகவல்களை உருவாக்க முடியும் என்று அர்த்தம்.

அதிக சேமிப்பிற்கு வேறு யுக்திகள் தேவை

செலவுகளைத் குறிப்பிடத்தக்க அளவில் குறைக்க வேண்டுமென்றால், இந்த ஹெடர் மட்டும் போதாது. மூன்று நடைமுறை வழிகள் அதிக லாபத்தைத் தரும்:

  • ப்ராம்ப்ட் கேச்சிங் (Prompt caching) – டூல் வரையறைகளை ஒருமுறை சேமித்து வைத்து, அடுத்தடுத்த அழைப்புகளில் அந்தத் தரவை மீண்டும் பயன்படுத்தலாம். கேச் செய்யப்பட்ட (cached) தரவுகளைப் படிப்பது, புதிய இன்புட் டோக்கன்களை விடக் குறைந்த கட்டணத்திலேயே அமையும்.
  • டூல் தொகுப்பைக் குறைத்தல் (Trim the tool set) – தற்போதைய பணிக்குத் தேவையான டூல்களை மட்டுமே சேர்க்கவும். ஒவ்வொரு கூடுதல் டூலும் ஒவ்வொரு கோரிக்கைக்கும் அதன் வரையறையைச் சேர்ப்பதால், இன்புட் செலவுகள் அதிகரிக்கின்றன.
  • டூல் முடிவுகளைச் சுருக்குதல் (Slim down tool results) – மாடலுக்குத் தேவையான புலங்களை (fields) மட்டும் திருப்பி அனுப்பவும். உரையாடலில் மீண்டும் சேர்க்கப்படும் பெரிய API பதில்கள், இன்புட் டோக்கன்கள் மற்றும் உரையாடல் வரலாற்ற both இரண்டையும் அதிகரிக்கின்றன.

இந்த நடைமுறைகளைப் பின்பற்றுவதன் மூலம், பீட்டா அம்சத்தின் மூலம் கிடைக்கும் 3 சதவீதத்தை விட மிக அதிகமாக, மொத்தச் செலவில் குறிப்பிடத்தக்க அளவு சேமிப்பைச் செய்ய முடியும்.

கவனிக்க வேண்டியவை

இந்த டோக்கன்-திறன் கொண்ட முறை (token-efficient mode) எப்போது பீட்டாவிலிருந்து ஒரு இயல்பான அம்சமாக (default feature) மாறும் என்பதை Anthropic இன்னும் தெரிவிக்கவில்லை. Claude 3.7 Sonnet-க்கு அப்பால் ஆதரவை விரிவுபடுத்தும் அல்லது ஆழமான டோக்கன்-சுருக்க நுட்பங்களை (token-compression techniques) அறிமுகப்படுத்தும் எதிர்கால அறிவிப்புகளை டெவலப்பர்கள் கவனித்து வர வேண்டும். பயன்பாட்டு முறைகள் மாறும்போது, இதன் உண்மையான தாக்கத்தை அளவிட, ஒவ்வொரு கோரிக்கைக்கான டோக்கன் விவரங்களைக் கண்காணிப்பது உதவியாக இருக்கும்.

சுருக்கம்

இந்த பீட்டா ஹெடர் என்பது ஒரு இலவசமான மற்றும் எளிமையான மாற்றமாகும். இது டூல்-கால் அவுட்புட் டோக்கன்களை சுமார் 14 சதவீதம் வரை குறைத்து, கட்டணத்தில் ஒரு சிறிய குறைவையும் வேகத்தையும் வழங்குகிறது. ஏற்கனவே அதிக ஏஜென்ட் செலவுகளால் சிரமப்படுபவர்களுக்கு, இந்த ஹெடர் ஒரு பயனுள்ள கூடுதல் அம்சமாகும், ஆனால் உண்மையான சேமிப்பு என்பது ப்ராம்ப்ட்களை கேச் செய்வதன் மூலமும், டூல்களின் எண்ணிக்கையைக் கட்டுப்படுத்துவதன் மூலமும், சுருக்கமான முடிவுகளைப் பெறுவதன் மூலமும் மட்டுமே சாத்தியமாகும்.

மூலம்: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l