Claude Opus 5-ன் புதிய prompt-caching API, மாற்றப்படாத உரையை மீண்டும் வாசிப்பதைத் தவிர்ப்பதன் மூலம், சாட்-பாணி (chat-style) செயலிகளுக்கான டோக்கன் செலவுகளைக் வெகுவாகக் குறைக்கிறது. முதல் கோரிக்கைக்குச் சிறிய கூடுதல் கட்டணம் வசூலிக்கப்படும்; அதன் பிறகு வரும் ஒவ்வொரு முறையும் அடிப்படை விலையில் ஏறத்தாழ பத்தில் ஒரு பங்கு மட்டுமே செலவாகும், இது தொடர்ச்சியான செலவை ஒருமுறை மட்டும் செலுத்த வேண்டிய கட்டணமாக மாற்றுகிறது.
டெவலப்பர்கள் ஏன் ஒரே வார்த்தைகளுக்கு இருமுறை பணம் செலுத்துகிறார்கள்
பெரும்பாலான உரையாடல் இடைமுகங்கள் (conversational interfaces) ஒவ்வொரு முறையும் முழுமையான ப்ராம்ப்ட்டையும் (prompt) மீண்டும் உருவாக்குகின்றன: ஒரு பயனர் தொடர்ச்சியான கேள்வியைக் கேட்கும் ஒவ்வொரு முறையும், 8,000-டோக்கன் சிஸ்டம் ப்ராம்ப்ட், இணைக்கப்பட்ட PDF-கள் மற்றும் முழு உரையாடல் வரலாறும் மாடலுக்கு ஒன்றாகச் செல்கின்றன. அந்த உரையின் பெரும்பகுதி மாறாத போதிலும், மாடல் ஒவ்வொரு டோக்கனையும் மீண்டும் செயலாக்குகிறது. தற்போதைய விலையering அடிப்படையில், இந்தத் தேவையற்றத் திரும்பத் திரும்பச் செய்யும் செயல்பாடு ஒரு பிஸியான பாட் (bot)-ன் செலவில் பெரும் பகுதியை ஆக்கிரமிக்கக்கூடும்.
கேச் (cache) எவ்வாறு கணக்கீட்டை மாற்றுகிறது
இந்த API, ஒரு குறிப்பிட்ட பிரேக் பாயிண்ட் (breakpoint) வரை உள்ள ஒவ்வொரு டோக்கன் "பிளாக்" (block)-க்கும் ஒரு கேச் பதிவை உருவாக்குகிறது. அடுத்த கோரிக்கையின் தொடக்கத்தில் அதே பிளாக் இருக்கும்போது, சேவை அதை மீண்டும் டோக்கனைஸ் செய்வதற்குப் பதிலாக கேச்சிலிருந்து படிக்கிறது. சேமிக்கப்படும் வேலையைப் பொறுத்து விலை இவ்வாறு பிரிக்கப்பட்டுள்ளது:
- Cache write – 5-minute TTL: 1.25 × base price
- Cache write – 1-hour TTL: 2 × base price
- Cache read (hit): 0.1 × base price
நடைமுறையில், ஒரு புதிய பிளாக்கிற்கான முதல் அழைப்பு சாதாரண கோரிக்கையை விடச் சற்று கூடுதல் செலவாகும். கேச்சைத் தொடும் (hit) ஒவ்வொரு பிந்தைய அழைப்பும் 90% மலிவானது, எனவே உரையாடல் ஆழமடையும் போது நிகரச் செலவு கடுமையாகக் குறைகிறது.
ப்ராம்ப்ட்களை வடிவமைப்பதற்கான "பொன் விதி"
கேச்சின் செயல்திறன் என்பது நீங்கள் நிலையான (static) மற்றும் மாறும் (dynamic) உள்ளடக்கங்களை எங்கு வைக்கிறீர்கள் என்பதைப் பொறுத்தது. மாறாத அனைத்தையும் முன்னால் வைக்கவும், அடிக்கடி மாறும் பகுதிகளை இறுதியில் தள்ளவும். ஒரு நம்பகமான வரிசை முறை இவ்வாறு இருக்கும்:
- Tools – மாடல் அழைக்கக்கூடிய எந்தவொரு வெளிப்புற செயல்பாடுகளின் (external functions) வரையறைகள்.
- System instructions – மாடல் பின்பற்ற வேண்டும் என்று நீங்கள் விரும்பும் உயர்மட்ட நடத்தை (high-level behavior).
- Documents – PDF-கள், அறிவுத் தளங்கள் (knowledge bases) அல்லது கொள்கைச் சுருக்கங்கள் போன்ற நீண்ட சூழல் (long context).
- User questions – ஒவ்வொரு முறையும் மாறும் நேரடி வினவல் (live query).
ஒரு பிரேக் பாயிண்டிற்கு முன்னால் நீங்கள் ஏதேனும் ஒரு டோக்கனை மாற்றினால், கேச் பதிவு செல்லாததாகிவிடும், மேலும் மாடல் அதற்குப் பின்னால் உள்ள அனைத்தையும் மீண்டும் செயலாக்க வேண்டும்.
நீங்கள் மதிக்க வேண்டிய மறைமுக வரம்புகள்
- Minimum block size – Opus 5 குறைந்தது 512 டோக்கன்களைக் கொண்ட பிளாக்குகளை மட்டுமே கேச் செய்கிறது. அதைவிடச் சிறியவை முழுமையாக கேச்சில் இருந்து விடுபட்டுவிடும்.
- Timestamp bug – கேச் செய்யப்பட்ட பிளாக்கிற்குள் மாறிக்கொண்டே இருக்கும் ஒரு நேர முத்திரையை (timestamp) உள்ளிட்டால், அது கேச் தோல்வியைத் (miss) தரும்; ஏனெனில் பிளாக்கின் உரை சரியாகப் பொருந்தாது.
- 20-block look-back – சேவை பொருத்தமானதைத் தேட கடைசி 20 பிளாக்குகளை மட்டுமே ஸ்கேன் செய்கிறது. வேகமாக முன்னேறும் நீண்ட கால அமர்வுகள் (sessions) கேச் விண்டோவைத் தாண்டிச் செல்லக்கூடும்.
- Parallel requests – ஒரே நேரத்தில் பல ஒரே மாதிரியான கோரிக்கைகளை அனுப்பினால் அவை அனைத்தும் தோல்வியடையும் (miss), ஏனெனில் முதல் கோரிக்கை முடிந்த பின்னரே கேச் நிரப்பப்படும். முதலில் ஒரு அழைப்பின் மூலம் கேச்சைத் தயார் செய்து (warm), பின்னர் மற்றவற்றை அனுப்பவும்.
உங்கள் API பதிலில் சேமிப்பைக் காண்பது
ஒவ்வொரு பதிலும் மூன்று டோக்கன் கவுண்டர்களைத் (token counters) தெரிவிக்கிறது:
cache_read_input_tokens– கேச் மூலம் பெறப்பட்ட டோக்கன்கள்.cache_creation_input_tokens– இந்த கோரிக்கையில் கேச்சில் எழுதப்பட்ட டோக்கன்கள்.input_tokens– கேச் செய்யப்படாத புதிய டோக்கன்கள்.
அந்தத் திருப்பத்திற்கு மாடல் பரிசீலித்த மொத்த டோக்கன்களைப் பெற இந்த மூன்று எண்களையும் கூட்டவும். இரண்டு கேச் புலங்களும் (fields) பூஜ்ஜியமாக இருந்தால், கோரிக்கை கேச்சைத் தவறவிட்டுள்ளது; உங்கள் பிளாக் அளவு மற்றும் பிரேக் பாயிண்ட் அமைப்பைச் சரிபார்க்கவும்.
சுருக்கம்: மாற்ற முடியாத சூழலை (immutable context) முன்னால் கொண்டு வந்து, Claude Opus 5-ன் prompt-caching API-யை முக்கிய வேலையைச் செய்ய அனுமதிப்பதன் மூலம், நீங்கள் தொடர்ச்சியான டோக்கன் செலவை ஒருமுறை மட்டும் செலுத்த வேண்டிய கட்டணமாக மாற்றலாம். ஒரே சிஸ்டம் ப்ராம்ப்ட் அல்லது ஆவணத் தொகுப்பைத் திரும்பத் திரும்பக் குறிப்பிடும் எந்தவொரு சாட்போட்டிற்கும் (chatbot), இதன் விளைவாகக் குறிப்பிடத்தக்க செலவுக் குறைப்பு கிடைக்கும்—டோக்கன் வரம்பைப் பின்பற்றுவது, கேச் செய்யப்பட்ட பிளாக்குகளுக்குள் மாறும் குறியீடுகளைத் தவிர்ப்பது மற்றும் உங்கள் கேச்-தகுதியான உள்ளடக்கத்தை 20-பிளாக் எல்லைக்குள் வைத்திருப்பது ஆகியவற்றை நீங்கள் கடைப்பிடிக்கும் பட்சத்தில் இது சாத்தியமாகும்.