Claude Opus 5-ന്റെ പുതിയ prompt-caching API, മാറ്റമില്ലാത്ത ടെക്സ്റ്റുകൾ വീണ്ടും വായിക്കുന്നത് ഒഴിവാക്കുന്നതിലൂടെ ചാറ്റ് രീതിയിലുള്ള ആപ്പുകളുടെ ടോക്കൺ ബില്ലുകൾ ഗണ്യമായി കുറയ്ക്കുന്നു. ആദ്യത്തെ റിക്വസ്റ്റിൽ ചെറിയൊരു അധിക നിരക്ക് നൽകേണ്ടി വരും; എന്നാൽ തുടർന്നുള്ള ഓരോ തവണയും അടിസ്ഥാന നിരക്കിന്റെ പത്തിലൊന്ന് മാത്രം മതിയാകും, ഇത് ആവർത്തിച്ചുള്ള ചിലവിനെ ഒരു ഒറ്റത്തവണ ചിലവായി മാറ്റുന്നു.
ഡെവലപ്പർമാർ ഒരേ വാക്കുകൾക്കായി രണ്ടുതവണ പണം നൽകുന്നത് എന്തുകൊണ്ട്?
മിക്ക സംഭാഷണാത്മക ഇന്റർഫേസുകളും (conversational interfaces) ഓരോ തവണയും മുഴുവൻ പ്രോംപ്റ്റും വീണ്ടും നിർമ്മിക്കുന്നു: ഒരു ഉപയോക്താവ് തുടർച്ചയായ ചോദ്യങ്ങൾ ചോദിക്കുമ്പോഴെല്ലാം 8,000-ടോക്കൺ സിസ്റ്റം പ്രോംപ്റ്റ്, അറ്റാച്ച് ചെയ്ത PDF-കൾ, മുഴുവൻ സംഭാഷണ ചരിത്രവും ഒന്നിച്ച് മോഡലിലേക്ക് അയക്കപ്പെടുന്നു. ആ ടെക്സ്റ്റിന്റെ ഭൂരിഭാഗവും മാറുന്നില്ലെങ്കിൽ പോലും മോഡൽ ഓരോ ടോക്കണും വീണ്ടും പ്രോസസ്സ് ചെയ്യുന്നു. നിലവിലെ നിരക്കനുസരിച്ച്, ഈ ആവർത്തനം ഒരു തിരക്കുള്ള ബോട്ടിന്റെ ചിലവിനെ വലിയ രീതിയിൽ വർദ്ധിപ്പിക്കുന്നു.
കാഷെ (cache) കണക്കുകൾ എങ്ങനെ മാറ്റുന്നു
ഒരു നിശ്ചിത ബ്രേക്ക്പോയിന്റ് (breakpoint) വരെയുള്ള ഓരോ ടോക്കൺ "ബ്ലോക്കിനും" (block) വേണ്ടി API ഒരു കാഷെ എൻട്രി സൃഷ്ടിക്കുന്നു. അടുത്ത റിക്വസ്റ്റിൽ അതേ ബ്ലോക്ക് തുടക്കത്തിൽ തന്നെ ഉണ്ടെങ്കിൽ, സർവീസ് അത് വീണ്ടും ടോക്കണൈസ് ചെയ്യുന്നതിന് പകരം കാഷെയിൽ നിന്ന് വായിക്കുന്നു. ലാഭിക്കപ്പെടുന്ന ജോലിയെ അടിസ്ഥാനമാക്കിയാണ് വില നിശ്ചയിച്ചിരിക്കുന്നത്:
- Cache write – 5-minute TTL: 1.25 × base price
- Cache write – 1-hour TTL: 2 × base price
- Cache read (hit): 0.1 × base price
പ്രായോഗികമായി പറഞ്ഞാൽ, ഒരു പുതിയ ബ്ലോക്കിനായുള്ള ആദ്യത്തെ കോൾ സാധാരണ റിക്വസ്റ്റിനേക്കാൾ അല്പം കൂടുതൽ ചിലവ് വരും. കാഷെ ഉപയോഗപ്പെടുത്തുന്ന തുടർന്നുള്ള ഓരോ കോളിനും 90% കുറഞ്ഞ ചിലവ് മാത്രമേ ഉണ്ടാകൂ, അതിനാൽ സംഭാഷണം നീണ്ടുപോകുന്തോറും ആകെ ചിലവ് ഗണ്യമായി കുറയുന്നു.
പ്രോംപ്റ്റുകൾ ഘടനപ്പെടുത്തുന്നതിനുള്ള "സുവർണ്ണ നിയമം"
സ്റ്റാറ്റിക് (static) ആയവയും ഡൈനാമിക് (dynamic) ആയവയും എവിടെ വെക്കുന്നു എന്നതിനെ ആശ്രയിച്ചാണ് കാഷെയുടെ ഫലപ്രാപ്തി നിലനിൽക്കുന്നത്. മാറ്റമില്ലാത്തവയെല്ലാം തുടക്കത്തിലും, എപ്പോഴും മാറിക്കൊണ്ടിരിക്കുന്നവ അവസാനം വയ്ക്കുകയും ചെയ്യുക. വിശ്വസനീയമായ ഒരു ക്രമം ഇപ്രകാരമാണ്:
- Tools – മോഡൽ വിളിക്കാൻ സാധ്യതയുള്ള ഏതെങ്കിലും എക്സ്റ്റേണൽ ഫംഗ്ഷനുകളുടെ നിർവ്വചനങ്ങൾ.
- System instructions – മോഡൽ പാലിക്കേണ്ട ഉയർന്ന തലത്തിലുള്ള പെരുമാറ്റ രീതികൾ.
- Documents – PDF-കൾ, നോളജ് ബേസുകൾ അല്ലെങ്കിൽ പോളിസി ഭാഗങ്ങൾ പോലുള്ള ദീർഘമായ കോൺടെക്സ്റ്റുകൾ.
- User questions – ഓരോ തവണയും മാറിക്കൊണ്ടിരിക്കുന്ന ഉപയോക്താവിന്റെ ചോദ്യങ്ങൾ.
ഒരു ബ്രേക്ക്പോയിന്റിന് മുമ്പുള്ള ഏതെങ്കിലും ടോക്കൺ നിങ്ങൾ മാറ്റുകയാണെങ്കിൽ, കാഷെ എൻട്രി അസാധുവാകുകയും അതിനുശേഷമുള്ളവയെല്ലാം മോഡൽ വീണ്ടും പ്രോസസ്സ് ചെയ്യേണ്ടി വരികയും ചെയ്യും.
നിങ്ങൾ ശ്രദ്ധിക്കേണ്ട മറഞ്ഞിരിക്കുന്ന പരിധികൾ
- Minimum block size – കുറഞ്ഞത് 512 ടോക്കണുകൾ അടങ്ങിയ ബ്ലോക്കുകൾ മാത്രമേ Opus 5 കാഷെ ചെയ്യുകയുള്ളൂ. അതിൽ ചെറിയവ പൂർണ്ണമായും കാഷെയ്ക്ക് പുറത്തായിരിക്കും.
- Timestamp bug – കാഷെ ചെയ്ത ഒരു ബ്ലോക്കിനുള്ളിൽ മാറിക്കൊണ്ടിരിക്കുന്ന ഒരു ടൈംസ്റ്റാമ്പ് (timestamp) നൽകുന്നത് കാഷെ മിസ്സ് (miss) ആകാൻ കാരണമാകും, കാരണം ബ്ലോക്കിലെ ടെക്സ്റ്റ് കൃത്യമായി ഒത്തുപോകില്ല.
- 20-block look-back – സർവീസ് അവസാനത്തെ 20 ബ്ലോക്കുകൾ മാത്രമേ മാച്ച് പരിശോധിക്കൂ. വേഗത്തിൽ മുന്നോട്ട് പോകുന്ന നീണ്ട സെഷനുകൾ കാഷെ വിൻഡോയ്ക്ക് പുറത്തായേക്കാം.
- Parallel requests – ഒരേ സമയം ഒന്നിലധികം ഒരേപോലെയുള്ള റിക്വസ്റ്റുകൾ അയച്ചാൽ അവയെല്ലാം മിസ്സ് ആകും, കാരണം ആദ്യത്തെ റിക്വസ്റ്റ് പൂർത്തിയായതിന് ശേഷം മാത്രമേ കാഷെ പുതുക്കപ്പെടുകയുള്ളൂ. ഒരു കോൾ വഴി കാഷെ തയ്യാറാക്കിയ ശേഷം ബാക്കിയുള്ളവ അയക്കുക.
നിങ്ങളുടെ API റെസ്പോൺസിൽ ലാഭം എങ്ങനെ കാണാം
ഓരോ റെസ്പോൺസും മൂന്ന് ടോക്കൺ കൗണ്ടറുകൾ റിപ്പോർട്ട് ചെയ്യുന്നു:
cache_read_input_tokens– കാഷെയിൽ നിന്ന് ലഭിച്ച ടോക്കണുകൾ.cache_creation_input_tokens– ഈ റിക്വസ്റ്റിൽ കാഷെയിൽ എഴുതപ്പെട്ട ടോക്കണുകൾ.input_tokens– കാഷെ ചെയ്യപ്പെടാത്ത പുതിയ ടോക്കണുകൾ.
ആ ടേണിൽ മോഡൽ പരിഗണിച്ച ആകെ ടോക്കണുകൾ ലഭിക്കാൻ ഈ മൂന്ന് സംഖ്യകളും തമ്മിൽ കൂട്ടുക. രണ്ട് കാഷെ ഫീൽഡുകളും പൂജ്യം ആണെങ്കിൽ, റിക്വസ്റ്റ് കാഷെ ഉപയോഗിച്ചില്ല എന്നാണ് അർത്ഥം; നിങ്ങളുടെ ബ്ലോക്ക് സൈസും ബ്രേക്ക്പോയിന്റ് സ്ഥാനവും പരിശോധിക്കുക.
ചുരുക്കത്തിൽ: മാറ്റമില്ലാത്ത വിവരങ്ങൾ (immutable context) മുൻകൂട്ടി നൽകുന്നതിലൂടെയും Claude Opus 5-ന്റെ prompt-caching API-യെ പ്രധാന ജോലികൾക്കായി ഉപയോഗിക്കുന്നതിലൂടെയും, ആവർത്തിച്ചുള്ള ടോക്കൺ ചിലവിനെ ഒരു ഒറ്റത്തവണ ചിലവായി മാറ്റാൻ നിങ്ങൾക്ക് സാധിക്കും. ടോക്കൺ പരിധി ശ്രദ്ധിക്കുകയും, കാഷെ ചെയ്ത ബ്ലോക്കുകൾക്കുള്ളിൽ മാറിക്കൊണ്ടിരിക്കുന്ന അടയാളങ്ങൾ ഒഴിവാക്കുകയും, കാഷെ ചെയ്യാൻ യോഗ്യമായ ഉള്ളടക്കം 20-ബ്ലോക്ക് പരിധിക്കുള്ളിൽ നിർത്തുകയും ചെയ്താൽ, ഒരേ സിസ്റ്റം പ്രോംപ്റ്റോ ഡോക്യുമെന്റോ ആവർത്തിച്ച് ഉപയോഗിക്കുന്ന ചാറ്റ്ബോട്ടുകൾക്ക് വലിയ രീതിയിലുള്ള ചിലവ് കുറയ്ക്കാൻ ഇത് സഹായിക്കും.