Anthropic యొక్క కొత్త బీటా హెడర్ Claude 3.7 Sonnet కోసం టూల్ కాల్స్ (tool calls) యొక్క టోకెన్ ఖర్చును సుమారు 14 శాతం తగ్గిస్తుంది, దీనివల్ల AI ఏజెంట్ల నెలవారీ బిల్లులలో స్వల్ప తగ్గింపు మరియు స్వల్ప లాటెన్సీ (latency) ప్రయోజనం లభిస్తుంది.

టూల్ వినియోగం ఎందుకు ఎక్కువ టోకెన్లను వినియోగిస్తుంది

Claudeతో ఒక ఏజెంట్ చేసే ప్రతి దశలో మూడు టోకెన్ ఆధారిత దశలు ఉంటాయి:

  • Tool definitions – మీరు ప్రాంప్ట్‌లో భాగంగా పంపే పేర్లు మరియు JSON స్కీమాలు.
  • Tool calls – ఒక టూల్‌ను ఉపయోగించాలని మోడల్ నిర్ణయించినప్పుడు అది రూపొందించే స్ట్రక్చర్డ్ అవుట్‌పుట్.
  • Tool results – మీ కోడ్ మోడల్‌కు తిరిగి ఇచ్చే డేటా.

మొదటి మరియు మూడవ దశలు ఇన్‌పుట్ టోకెన్లు; రెండవ దశ అవుట్‌పుట్ టోకెన్. Claude ఇన్‌పుట్ కంటే అవుట్‌పుట్‌కు ఎక్కువ ఛార్జ్ చేస్తుంది కాబట్టి, మొత్తం టోకెన్ల సంఖ్య ఒకేలా ఉన్నప్పటికీ, అవుట్‌పుట్ టోకెన్లను తగ్గించడం ద్వారా ఖర్చులను తగ్గించవచ్చు.

బీటా హెడర్

Anthropic token-efficient tool use అనే పేరుతో ఒక బీటా ఫీచర్‌ను ప్రకటించింది. HTTP హెడర్ 

anthropic-beta: token-efficient-tools-2025-02-19

ను జోడించడం ద్వారా ఈ ఆప్టిమైజేషన్ యాక్టివేట్ అవుతుంది, కానీ ఇది Claude 3.7 Sonnet కోసం చేసే రిక్వెస్ట్‌లకు మాత్రమే వర్తిస్తుంది. ఒకవేళ ఈ హెడర్‌ను వేరే ఏదైనా మోడల్‌కు పంపితే, రిక్వెస్ట్ ఎటువంటి మార్పు లేకుండా కొనసాగుతుంది; హెడర్ ఎటువంటి ఎర్రర్ లేకుండా విస్మరించబడుతుంది.

ఈ ఆప్టిమైజేషన్ మోడల్ యొక్క టూల్-కాల్ అవుట్‌పుట్‌ను కంప్రెస్ చేయడం ద్వారా పనిచేస్తుంది, దీనివల్ల ఆ దశలో అవుట్‌పుట్ టోకెన్ల సంఖ్య సుమారు 14 శాతం తగ్గుతుంది.

మీరు నిజంగా ఎంత ఆదా చేస్తారు

ఇన్‌పుట్ టోకెన్ల కంటే అవుట్‌పుట్ టోకెన్లు ఖరీదైనవి, కాబట్టి ఆ విభాగంలో 14 శాతం కోత అనేది మొత్తం బిల్లులో సమానమైన తగ్గుదలకు దారితీయదు. సాధారణ నాలుగు-దశల ఏజెంట్ లూప్‌లో, టూల్ డెఫినిషన్లు తరచుగా ఇన్‌పుట్ ఖర్చులలో ఎక్కువ భాగాన్ని ఆక్రమిస్తాయి, కొన్నిసార్లు ఉపయోగించిన టోకెన్లలో సగం కంటే ఎక్కువ ఉండవచ్చు. అటువంటి పరిస్థితులలో, అవుట్‌పుట్ టోకెన్లపై 14 శాతం ఆదా అనేది సాధారణంగా మొత్తం ఛార్జీలో కేవలం 3 శాతం తగ్గుదలను మాత్రమే ఇస్తుంది.

అందువల్ల, ఈ ఆదా అనేది తక్కువగా అనిపించినప్పటికీ, ఈ మార్పు ఎటువంటి అదనపు ఖర్చు లేకుండా వస్తుంది మరియు స్వల్ప లాటెన్సీ మెరుగుదలను అందిస్తుంది: తక్కువ అవుట్‌పుట్ టోకెన్లు అంటే మోడల్ జనరేషన్‌ను కొంచెం వేగంగా పూర్తి చేస్తుంది.

ఎక్కువ ఆదా కావాలంటే వేరే పద్ధతులు అవసరం

ఖర్చులను గణనీయంగా తగ్గించడమే లక్ష్యమైతే, కేవలం ఈ హెడర్ మాత్రమే సరిపోదు. మూడు ఆచరణాత్మక పద్ధతులు పెద్ద మొత్తంలో లాభాలను అందిస్తాయి:

  • Prompt caching – టూల్ డెఫినిషన్లను ఒకసారి స్టోర్ చేసి, తదుపరి కాల్‌లలో ఆ క్యాష్ చేసిన వెర్షన్‌ను తిరిగి ఉపయోగించుకోండి. కొత్త ఇన్‌పుట్ టోకెన్ల కంటే క్యాష్ చేసిన రీడ్స్ (cached reads) తక్కువ రేటుతో బిల్లు చేయబడతాయి.
  • Trim the tool set – ప్రస్తుత టాస్క్‌కు అవసరమైన టూల్స్‌ను మాత్రమే చేర్చండి. ప్రతి అదనపు టూల్ ప్రతి రిక్వెస్ట్‌కు దాని డెఫినిషన్‌ను జోడిస్తుంది, దీనివల్ల ఇన్‌పుట్ ఖర్చులు పెరుగుతాయి.
  • Slim down tool results – మోడల్‌కు నిజంగా అవసరమైన ఫీల్డ్‌లను మాత్రమే తిరిగి పంపండి. సంభాషణలోకి తిరిగి పంపబడే పెద్ద API రెస్పాన్స్‌లు ఇన్‌పుట్ టోకెన్లను మరియు సంభాషణ చరిత్రను (conversation history) రెండింటినీ పెంచుతాయి.

ఈ పద్ధతులను పాటించడం ద్వారా, కేవలం బీటా ద్వారా వచ్చే 3 శాతం కంటే చాలా ఎక్కువ మొత్తాన్ని మొత్తం ఖర్చు నుండి తగ్గించవచ్చు.

గమనించవలసినవి

టోకెన్-ఎఫిషియంట్ మోడ్ ఎప్పుడు—లేదా ఒకవేళ—బీటా నుండి డిఫాల్ట్ ఫీచర్‌గా మారుతుందో Anthropic ఇంకా పేర్కొనలేదు. Claude 3.7 Sonnet కంటే ఎక్కువ మోడళ్లకు మద్దతు ఇచ్చేలా లేదా లోతైన టోకెన్-కంప్రెషన్ పద్ధతులను పరిచయం చేసేలా వచ్చే భవిష్యత్తు ప్రకటనలను డెవలపర్లు గమనిస్తూ ఉండాలి. వినియోగ విధానాలు మారుతున్న కొద్దీ, ప్రతి రిక్వెస్ట్ టోకెన్ బ్రేక్‌డౌన్‌ను పర్యవేక్షించడం వల్ల వాస్తవ ప్రపంచ ప్రభావం ఎంత ఉందో అంచనా వేయడానికి సహాయపడుతుంది.

ముగింపు

ఈ బీటా హెడర్ అనేది ఉచితమైన మరియు తక్కువ శ్రమతో కూడిన మార్పు, ఇది టూల్-కాల్ అవుట్‌పుట్ టోకెన్లను సుమారు 14 శాతం తగ్గిస్తుంది, దీనివల్ల బిల్లులో స్వల్ప తగ్గుదల మరియు స్వల్ప వేగ మెరుగుదల లభిస్తాయి. ఇప్పటికే అధిక ఏజెంట్ ఖర్చులతో ఇబ్బంది పడుతున్న వారికి, ఈ హెడర్ ఒక ఉపయోగకరమైన అదనపు ఫీచర్, కానీ నిజమైన ఆదా అనేది ప్రాంప్ట్‌లను క్యాష్ చేయడం, టూల్ పరిధిని పరిమితం చేయడం మరియు తక్కువ డేటాతో ఫలితాలను పొందడం ద్వారా వస్తుంది.

మూలం: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l