தலைப்பு: ஒரு கருவியின் பெயரை மாற்றினால், முழு கேச் (Cache) இழக்கப்படும்
Anthropic-ன் புதிய கேச் விலை நிர்ணயம் (cache pricing) என்பது, ஒரு சிறிய எழுத்து மாற்றம்—ஒரு கருவியின் பெயரை மாற்றுவது அல்லது சிஸ்டம் பிராம்ப்ட்டில் (system prompt) ஒரு நேர முத்திரையை (timestamp) சேர்ப்பது—ஒரு மலிவான கேச் ஹிட்டை (cache hit), முழு விலையிலான மிஸ்ஸாக (miss) மாற்றிவிடும். இது பில்களைப் பலமடங்கு அதிகரிக்கக்கூடும்.
இந்த மாற்றம் Anthropic-ன் இரண்டு அடுக்கு கேச் தள்ளுபடியிலிருந்து (two-tier cache discount) வருகிறது. சில மாடல்களுக்கு, கேச் செய்யப்பட்ட ரீட் (cached read) வழக்கமான இன்புட் விலையில் 0.025 × மட்டுமே செலவாகும்; மற்றவற்றிற்கு தள்ளுபடி 0.1 × ஆகும். கோரிக்கை (request) முந்தைய கேச் செய்யப்பட்ட பதிவோடு சரியாகப் பொருந்தும் போது மட்டுமே இந்தத் தள்ளுபடி பொருந்தும். மிஸ்ஸ்கள் (Misses) அடிப்படை விலையிலேயே வசூலிக்கப்படும், எனவே ஹிட் மற்றும் மிஸ்ஸிற்கு இடையிலான இடைவெளி வியத்தகு முறையில் அதிகரிக்கிறது. நடைமுறையில், ஒரு சிறிய பிராம்ப்ட் மாற்றம், எதிர்பார்க்கப்பட்ட தொகையை விட நாற்பது மடங்கு வரை செலவை அதிகரிக்கக்கூடும்.
இந்த மாற்றம் ஏன் முக்கியமானது
ஒரே மாதிரியான பிராம்ப்ட்களை மீண்டும் பயன்படுத்துவதை ஊக்குவிப்பதற்காக Anthropic இந்த கேச் அடுக்குகளைச் சேர்த்துள்ளது; இது ஒரே கருவித் தொகுப்பை (toolset) மீண்டும் மீண்டும் அழைக்கும் ஏஜென்ட்களில் (agents) காணப்படும் ஒரு பொதுவான முறையாகும். இதன் கருத்து எளிமையானது: ஒரு பிராம்ப்ட்-கருவி இணைப்பின் முடிவை ஒருமுறை சேமித்து வைத்து, பின்னர் அழைக்கும் போது அதை மலிவாகப் பெறுவது. புதிய மல்டிப்ளையர்கள் (multipliers) "மீட்டெடுப்பு" (retrieval) பக்கத்தை மிகவும் மலிவாக்குகின்றன, ஆனால் அவை "மிஸ்" (miss) செய்வதற்கான அபராதத்தையும் (penalty) மிக அதிகமாகமாக்குகின்றன.
நிலையான சிஸ்டம் பிராம்ப்ட்களைக் கொண்டு ஏஜென்ட்களை உருவாக்கிய டெவலப்பர்கள், இப்போது வேண்டுமென்றோ அல்லது தற்செயலாகவோ ஏற்படும் எந்தவொரு மாற்றமும் கேச் சங்கிலியைத் (cache chain) துண்டிப்பதைக் காண்கிறார்கள். இதன் விளைவு சேவையின் மீது ஒரு மறைமுக வரியாகும் (hidden tax): குறைந்த கேச்-ஹிட் விகிதம் (cache-hit ratio) நேரடியாக அதிக இயக்கச் செலவுகளாக (operating costs) மாறுகிறது.
கேச்-ஐ எவை பாதிக்கும்
Anthropic-ன் ஆவணங்கள் ஒரு படிநிலை அமைவை (hierarchy) விவரிக்கின்றன, அங்கு உயர் மட்டங்களில் ஏற்படும் மாற்றங்கள் அவற்றிற்கு கீழே உள்ள அனைத்தையும் செல்லாததாக்கிவிடும். இதன் நடைமுறை விளைவு என்னவென்றால், பாதிப்பற்றதாகத் தோன்றும் எடிட்கள் கூட முழு விலையிலான கட்டணமாகத் தொடர்ச்சியாக மாறக்கூடும்.
- கருவி வரையறைகள் (Tool definitions) – ஒரு கருவியைச் சேர்ப்பது, நீக்குவது, பெயர் மாற்றுவது அல்லது அதன் விளக்கத்தை மாற்றுவது என்பது கருவிகள், சிஸ்டம் பிராம்ப்ட் மற்றும் அனைத்து செய்தி வரலாற்றிற்கான கேச்-ஐ அழித்துவிடும்.
- Web-search toggle – வெப்-சர்ச் கருவியை இயக்கும் பூலியன் (boolean) மதிப்பை மாற்றுவது சிஸ்டம் பிராம்ப்ட் மற்றும் செய்தி கேச்-ஐ அழித்துவிடும்.
- Tool-choice parameter – எந்தக் கருவியை இயக்க வேண்டும் என்பதைத் தேர்ந்தெடுக்கும் அளவுருவை (parameter) மாற்றுவது செய்தி கேச்-ஐ மட்டுமே செல்லாததாக்கும்.
- Image payloads – படங்களைச் சேர்ப்பது அல்லது நீக்குவது செய்தி கேச்-ஐ மட்டுமே பாதிக்கும்.
டெவலப்பர்கள் அறியாமல் செய்யும் பொதுவான முறைகள்:
- கருவிகளை மறுவரிசைப்படுத்துதல் (Reordering tools) – சில கோட்பாடுகளின் (codebases) படி, ஒவ்வொரு முறை பயன்பாட்டில் விடும்போதும் (deployment) கருவி அகராதிகள் (tool dictionaries) வரிசைப்படுத்தப்படுகின்றன. புதிய வரிசை ஒரு வேறுபட்ட கேச் கீயை (cache key) உருவாக்குவதால், ஒவ்வொரு முறையும் கேச் மிஸ் ஏற்படுகிறது.
- நேர முத்திரை இடப்பட்ட பிராம்ப்ட்கள் (Timestamped prompts) – சிஸ்டம் பிராம்ப்ட்டில் “generated at HH:MM:SS” என்ற சரத்தை (string) இணைப்பது ஒவ்வொரு கோரிக்கையையும் தனித்துவமாக்குகிறது, இது கேச் மிஸ்ஸை உறுதி செய்கிறது.
- பிராம்ப்ட் துண்டுகளை மாற்றுதல் (Rotating prompt fragments) – ஒரு வாழ்த்துச் செய்தி அல்லது பதிப்பு பேனரை (version banner) மாற்றுவது பிராம்ப்ட் ஹாஷை (prompt hash) மாற்றி கேச்-ஐச் சிதைத்துவிடும்.
மறைமுகச் செலவைக் கண்டறிதல்
Anthropic-ன் பயன்பாட்டுப் பதிவுகள் (usage logs) மூன்று புலங்கள் (fields) மூலம் கேச் இயக்கவியலை வெளிப்படுத்துகின்றன:
cache_read_input_tokens– ஒரு கேச் பதிவிலிருந்து படிக்கப்பட்ட டோக்கன்கள்.cache_creation_input_tokens– ஒரு புதிய கேச் பதிவைச் சேமிக்கக் காரணமான டோக்கன்கள்.input_tokens– வழக்கமான விலையில் வசூலிக்கப்படும் டோக்கன்கள் (கேச் ரீட்களுக்குப் பிறகு மீதமுள்ளவை).
cache_read_input_tokens-ல் சரிவும், input_tokens-ல் திடீர் உயர்வும் ஏற்பட்டால், பிராம்ப்ட் ஸ்டேக்கில் (prompt stack) ஏதோ ஒன்று மாறியுள்ளது என்று அர்த்தம். இந்த அளவீடுகளைக் கண்காணிப்பதன் மூலம், பில் பெருகுவதற்கு முன்பே குழுக்கள் நடவடிக்கை எடுக்க முடியும்.
டெவலப்பர்களின் பதில்
புதிய விலை நிர்ணய யதார்த்தத்தை எதிர்கொள்ளும் பல குழுக்கள், இப்போது பிராம்ப்ட் நிலைத்தன்மையை (prompt stability) ஒரு முதன்மையான செயல்திறன் அளவீடாகக் கருதுகின்றன. பொதுவான உத்திகள் பின்வருமாறு:
- நிலையான சிஸ்டம் பிராம்ப்ட்கள் (Static system prompts) – பிராம்ப்ட்டை ஒரு பதிப்பு-கட்டுப்பாட்டு கோப்பில் (version-controlled file) சேமித்து வைத்து, ரன்டைம் மாற்றங்கள் இன்றி அதைச் செலுத்துங்கள்.
- நிச்சயமான கருவி வரிசைமுறை (Deterministic tool ordering) – அகராதி வரிசைமுறை அல்லது வெளிப்புறத் தயாரிப்பாளர்களையே (external generators) நம்பியிருக்காமல், கருவிப் பட்டியலை நேரடியாகக் குறியீட்டில் (code) வரையறுக்கவும்.
- நேர முத்திரையை நீக்குதல் (Timestamp removal) – லாகிங் அல்லது நேரத் தகவல்களை பிராம்ப்ட் சரத்தைப் பாதிக்காத தனிப்பட்ட மெட்டாடேட்டா சேனலுக்கு (metadata channel) மாற்றவும்.
- கேச்-அறிவார்ந்த சோதனை (Cache-aware testing) – முழு பிராம்ப்ட்டின் (system + tools + messages) ஹாஷ், பில்டுகளுக்கு (builds) இடையிலும் மாறாமல் இருப்பதை உறுதி செய்யும் யூனிட் டெஸ்ட்களைச் சேர்க்கவும்.
இந்த நடைமுறைகள் சிறிய பொறியியல் கூடுதல் சுமையை (engineering overhead) ஏற்படுத்தினாலும், கேச் மிஸ் இப்போது குறிக்கும் "மறைமுக வரியிலிருந்து" பாதுகாக்கிறது.
Anthropic-ன் பார்வை
ஆழமான தள்ளுபடி மீண்டும் பயன்படுத்துவதை ஊக்குவிப்பதாகவும், இது அதன் சர்வர்களில் ஒட்டுமொத்த கணக்கீட்டுச் சுமையைக் (compute load) குறைக்க உதவும் என்றும் Anthropic வாதிடுகிறது. கேச் ரீட்களை வியத்தகு முறையில் மலிவாக்குவதன் மூலம், டெவலப்பர்கள் தொடர்ந்து பிராம்ப்ட்களை மாற்றியமைப்பதற்குப் பதிலாக, ஒரே கருவித் தொகுப்பை மீண்டும் மீண்டும் அழைக்கும் ஏஜென்ட்களை வடிவமைப்பார்கள் என்று அவர்கள் நம்புகிறார்கள். இதற்கான சவாலான அம்சம் (trade-off) மீண்டும் பயன்படுத்த முடியாத அழைப்புகளுக்கு அதிக அபராதம் விதிக்கப்படுவதாகும்; இது டெவலப்பர்களைச் சிறந்த பிராம்ப்ட் சுகாதாரத்தை (prompt hygiene) நோக்கித் தூண்டும் என்று நிறுவனம் கூறுகிறது.
பல நிஜ உலக ஏஜெண்டுகள் தூண்டுதல்களை (prompts) உடனுக்குடன் மாற்றியமைக்க வேண்டியுள்ளது—சூழல் (context), நேர முத்திரைகள் (timestamps) அல்லது இயங்குதன்மை கொண்ட கருவித் தேர்வுகள் (dynamic tool selections) ஆகியவற்றைச் சேர்ப்பது பெரும்பாலும் அவசியமாகிறது என்று விமர்சகர்கள் குறிப்பிடுகின்றனர். அத்தகைய பணிச்சுமைகளுக்கு, cache hits-களைப் பொருட்படுத்தாமல் நிலையான கட்டணம் வசூலிக்கும் பிற வழங்குநர்களுடன் ஒப்பிடும்போது, Anthropic-ன் புதிய விலை நிர்ணயம் அதன் ஈர்ப்பைக் குறைக்கக்கூடும்.
அடுத்து கவனிக்க வேண்டியவை
- விலை திருத்தங்கள் – hit-miss இடையிலான இடைவெளி மிகவும் அதிகமாக இருப்பதாக சமூகத்தின் கருத்துக்கள் தெரிவித்தால், Anthropic அதன் பெருக்கிகளை (multipliers) நுட்பமாகச் சரிசெய்யக்கூடும்.
- Cache-control அம்சங்கள் – எதிர்கால API மேம்படுத்தல்கள், ஒரு prompt-ன் எந்தப் பகுதிகள் cache key-யிலிருந்து விலக்கப்பட வேண்டும் என்பதை மென்பொருள் உருவாக்குநர்கள் குறிப்பிட அனுமதிப்பதன் மூலம் ஒரு நடுநிலையான தீர்வை வழங்கக்கூடும்.
- போட்டியாளர்களின் நடவடிக்கைகள் – மற்ற LLM வழங்குநர்கள், நிலையான விலையை வழங்குவதன் மூலமோ அல்லது அதிக நுட்பமான cache கட்டுப்பாடுகளைக் காண்பிப்பதன் மூலமோ, போட்டியில் நிலைத்திருக்கத் தங்கள் சொந்த cache மாதிரிகளைச் சரிசெய்யக்கூடும்.
முக்கியக் கருத்து
Anthropic-ன் புதிய cache விலை நிர்ணயத்துடன், ஒரு prompt miss என்பதன் செலவு என்பது இனி ஒரு சிறு அசௌகரியம் மட்டுமல்ல; அது ஒரு திட்டத்தின் பட்ஜெட்டைப் பெருமளவில் மாற்றியமைக்கக்கூடிய ஒரு நிதி சார்ந்த காரணியாகும். system prompts, கருவி வரையறைகள் (tool definitions) மற்றும் தொடர்புடைய metadata ஆகியவற்றை மாற்ற முடியாதபடி (immutable) வைத்திருப்பது, இப்போது திறமையான குறியீட்டை (efficient code) எழுதுவதைப் போலவே முக்கியமானது. prompt determinism-ஐ ஒரு அளவிடக்கூடிய அளவுகோலாகக் கருதும் குழுக்கள், எதிர்பாராத கட்டணங்களைத் தவிர்த்து, தங்கள் AI-agent செலவுகளைக் கட்டுப்பாட்டில் வைத்திருக்க முடியும்.