Claude Opus 5’s new prompt-caching API inapunguza kwa kiasi kikubwa gharama za token kwa programu za aina ya chat kwa kuruhusu modeli kuruka kusoma tena maandishi ambayo hayajabadilika. Ombi la kwanza hulipia malipo kidogo ya ziada; kila ombi linalofuata linagharimu takriban sehemu moja ya kumi ya kiwango cha msingi, na hivyo kubadilisha gharama inayojirudia kuwa malipo ya mara moja tu.

Kwa nini watengenezaji hulipia mara mbili kwa maneno yaleyale

Violesha (interfaces) vingi vya mazungumzo hujenga upya prompt nzima kila wakati: prompt ya mfumo ya token 8,000, PDF zilizounganishwa, na historia nzima ya mazungumzo husafiri pamoja kwenda kwa modeli kila wakati mtumiaji anapouliza swali la ziada. Modeli huchakata tena kila token ingawa sehemu kubwa ya maandishi hayo haibadiliki kamwe. Kwa bei ya sasa, urudiaji huo unaweza kutawala gharama ya bot inayotumika sana.

Jinsi cache inavyobadilisha hesabu

API hutengeneza ingizo la cache kwa kila “block” ya token hadi breakpoint iliyowekwa. Ombi linalofuata linapokuwa na block ile ile mwanzoni, huduma husoma kutoka kwenye cache badala ya kuigawanya (tokenising) tena. Mgawanyo wa bei unaonyesha kazi iliyookolewa:

  • Cache write – TTL ya dakika 5: 1.25 × bei ya msingi
  • Cache write – TTL ya saa 1: 2 × bei ya msingi
  • Cache read (hit): 0.1 × bei ya msingi

Kiuhalisia, wito wa kwanza kwa block mpya unagharimu kidogo zaidi kuliko ombi la kawaida. Kila wito wa baadaye unaopata cache ni rahisi kwa 90% zaidi, hivyo matumizi halisi hupungua kwa kasi mazungumzo yanapozidi kuwa marefu.

“Kanuni ya dhahabu” ya kupanga miundo ya prompt

Ufanisi wa cache unategemea mahali unapoweka maudhui yasiyobadilika (static) dhidi ya maudhui yanayobadilika (dynamic). Weka kila kitu ambacho hakibadiliki mwanzoni, na upeleke sehemu zinazobadilika mara kwa mara mwishoni. Mpangilio wa kuaminika unaonekana hivi:

  1. Tools – maelezo ya kazi (functions) yoyote ya nje ambayo modeli inaweza kuita.
  2. System instructions – tabia ya kiwango cha juu unayotaka modeli ifuate.
  3. Documents – muktadha mrefu kama vile PDF, kanzi data (knowledge bases), au vifungu vya sera.
  4. User questions – swali la papo hapo linalobadilika kila wakati.

Ukibadilisha token yoyote kabla ya breakpoint, ingizo la cache linapoteza nguvu (invalidated) na modeli lazima ichakate upya kila kitu kinachofuata.

Vikwazo vya siri unavyopaswa kuzingatia

  • Ukubwa wa chini wa block – Opus 5 inahifadhi (caches) tu block zinazojumuisha angalau token 512. Chochote kidogo zaidi hakitaingia kwenye cache kabisa.
  • Hitilafu ya timestamp – kuingiza timestamp inayobadilika ndani ya block iliyohifadhiwa inahakikisha kutopata cache (miss), kwa sababu maandishi ya block hayatafanana kamwe kwa usahihi.
  • Uchunguzi wa block 20 za nyuma – huduma huchunguza block 20 za mwisho pekee ili kupata inayofanana. Vikao vinavyoendelea kwa muda mrefu ambavyo vinasonga mbele haraka vinaweza kuvuka upeo wa cache.
  • Maombi sambamba (Parallel requests) – kutuma maombi kadhaa yanayofanana kwa wakati mmoja yote yatashindwa kupata cache, kwa sababu cache hujazwa tu baada ya ombi la kwanza kumalizika. Iandae cache kwa wito mmoja, kisha toa mengine.

Kuona akiba katika majibu yako ya API

Kila jibu linaripoti vihesabu vitatu vya token:

  • cache_read_input_tokens – token zilizoingia kutokana na cache hit.
  • cache_creation_input_tokens – token zilizoandikwa kwenye cache katika ombi hili.
  • input_tokens – token mpya ambazo hazikuhifadhiwa kwenye cache.

Jumlisha namba hizo tatu ili kupata jumla ya token ambazo modeli ilizifikiria kwa zamu hiyo. Ikiwa nyanja zote mbili za cache ni sifuri, ombi halikupata cache; kagua ukubwa wa block yako na mahali ulipoweka breakpoint.

Muhtasari: Kwa kuweka muktadha usiobadilika mwanzoni na kuruhusu API ya prompt-caching ya Claude Opus 5 ifanye kazi nzito, unageuza gharama ya token inayojirudia kuwa malipo ya mara moja tu. Matokeo yake ni upunguzaji mkubwa wa gharama kwa chatbot yoyote inayorejelea prompt ya mfumo au seti ya hati ile ile mara kwa mara—mradi tu uzingatie kiwango cha chini cha token, epuke alama zinazobadilika ndani ya block zilizohifadhiwa, na uweke maudhui yako yanayostahili cache ndani ya upeo wa block 20.