Badilisha Jina la Zana, Upoteze Cache Yote

Bei mpya ya cache ya Anthropic inamaanisha marekebisho madogo ya herufi moja—kama vile kubadilisha jina la zana au kuongeza muda (timestamp) kwenye system prompt—yanaweza kubadilisha "cache hit" ya bei rahisi kuwa "miss" ya bei kamili, na kuongeza bili mara nyingi zaidi.

Mabadiliko haya yanatokana na punguzo la cache la ngazi mbili la Anthropic. Kwa baadhi ya mifano (models), kusoma data kutoka kwenye cache (cached read) kuna gharama ya 0.025 × tu ya bei ya kawaida ya input; kwa nyingine, punguzo ni 0.1 ×. Punguzo hili linatumika tu wakati ombi (request) linalingana sawia na ingizo lililohifadhiwa kwenye cache hapo awali. "Misses" hutoza kwa kiwango cha msingi, hivyo pengo kati ya "hit" na "miss" linapanuka sana. Kiuhalisia, mabadiliko madogo ya prompt yanaweza kuongeza gharama hadi mara arobaini ya kiasi kilichotarajiwa.

Kwa nini mabadiliko haya ni muhimu

Anthropic iliongeza ngazi ya cache ili kuhimiza utumiaji tena wa prompt zinazofanana, ambayo ni mfumo wa kawaida katika "agents" zinazozungusha seti ile ile ya zana (toolset). Wazo ni rahisi: hifadhi matokeo ya mchanganyiko wa prompt-zana mara moja, kisha uyafunue kwa bei rahisi kwenye simu zinazofuata. Vigezo vipya (multipliers) vinafanya upande wa "retrieval" kuwa rahisi zaidi, lakini pia vinafanya adhabu ya "miss" kuwa kubwa zaidi.

Watengenezaji (Developers) waliojenga agents kulingana na system prompts thabiti sasa wanaona mabadiliko yoyote—ya makusudi au ya bahati mbaya—yanavunja mnyororo wa cache. Matokeo yake ni kodi ya siri kwenye huduma: uwiano mdogo wa cache-hit unatafsiriwa moja kwa moja kuwa gharama kubwa zaidi za uendeshaji.

Nini kinavunja cache

Nyaraka za Anthropic zinaelezea mfumo wa daraja ambapo mabadiliko katika ngazi za juu yanafanya kila kitu kilicho chini yake kutofanya kazi. Matokeo yake ya kivitendo ni kwamba marekebisho yanayoonekana kutokuwa na madhara yanaweza kusababisha malipo ya bei kamili.

  • Ufafanuzi wa zana (Tool definitions) – Kuongeza, kuondoa, kubadilisha jina la zana, au kubadilisha maelezo yake hufuta cache ya zana, system prompt, na historia yote ya ujumbe.
  • Kiwashio cha utafutaji wa wavuti (Web-search toggle) – Kubadilisha hali ya boolean inayowezesha zana ya utafutaji wa wavuti hufuta system prompt na cache ya ujumbe.
  • Kipengele cha uchaguzi wa zana (Tool-choice parameter) – Kurekebisha kipengele kinachochagua zana ya kuendesha kunafuta cache ya ujumbe pekee.
  • Maudhui ya picha (Image payloads) – Kuongeza au kuondoa picha huathiri cache ya ujumbe pekee.

Mifumo ya kawaida ambayo watengenezaji huichochea bila kukusudia:

  1. Kupanga upya zana (Reordering tools) – Baadhi ya kanuni za programu (codebases) hupanga orodha ya zana (tool dictionaries) kila wakati zinapowekwa hewani. Mpangilio mpya unatengeneza "cache key" tofauti, hali inayolazimisha "miss" kila wakati.
  2. Prompt zenye muda (Timestamped prompts) – Kuweka maandishi ya “generated at HH:MM:SS” kwenye system prompt hufanya kila ombi kuwa la kipekee, jambo linalohakikisha "miss".
  3. Kubadilisha vipande vya prompt (Rotating prompt fragments) – Kubadilisha salamu au kichwa cha toleo (version banner) hubadilisha "prompt hash" na kuharibu cache.

Kutambua gharama ya siri

Kumbukumbu za matumizi (usage logs) za Anthropic zinaonyesha mienendo ya cache kupitia sehemu tatu:

  • cache_read_input_tokens – Tokens zinazosomwa kutoka kwenye ingizo la cache.
  • cache_creation_input_tokens – Tokens zilizosababisha ingizo jipya la cache kuhifadhiwa.
  • input_tokens – Tokens zinazotozwa kwa kiwango cha kawaida (kilichobaki baada ya kusoma kwenye cache).

Ongezeko la ghafla la input_tokens pamoja na kushuka kwa cache_read_input_tokens kunaashiria kuwa kuna kitu katika mfululizo wa prompt kimebadilika. Kufuatilia vipimo hivi kunaruhusu timu kuchukua hatua kabla ya bili kuanza kuongezeka sana.

Jibu la mtengenezaji

Wakikabiliwa na uhalisia mpya wa bei, timu nyingi sasa zinachukulia uthabiti wa prompt kama kipimo muhimu cha utendaji. Mikakati ya kawaida ni pamoja na:

  • System prompts thabiti (Static system prompts) – Hifadhi prompt kwenye faili linalodhibitiwa na toleo (version-controlled) na uingize bila mabadiliko wakati wa utendaji (runtime).
  • Mpangilio thabiti wa zana (Deterministic tool ordering) – Bainisha orodha ya zana moja kwa moja kwenye kanuni (code) badala ya kutegemea mpangilio wa dictionary au viumbe (generators) vya nje.
  • Kuondoa muda (Timestamp removal) – Hamisha taarifa za kumbukumbu (logging) au muda kwenda kwenye chaneli tofauti ya metadata ambayo haitaathiri maandishi ya prompt.
  • Majaribio yanayozingatia cache (Cache-aware testing) – Ongeza majaribio ya kitengo (unit tests) yanayothibitisha kuwa "hash" ya prompt nzima (system + tools + messages) inabaki vilevile katika matoleo mbalimbali.

Mazoea haya yanaongeza mzigo mdogo wa kihandisi lakini yanajikinga dhidi ya "kodi ya siri" ambayo "cache miss" inawakilisha sasa.

Mtazamo wa Anthropic

Anthropic inadai kuwa punguzo kubwa zaidi linahimiza utumiaji tena, jambo ambalo linaweza kupunguza mzigo wa jumla wa kompyuta kwenye seva zake. Kwa kufanya kusoma kwenye cache kuwa rahisi zaidi, wanatumai watengenezaji watatengeneza agents zinazozungusha seti ile ile ya zana mara kwa mara badala ya kubadilisha prompt kila wakati. Unafananishaji (trade-off) ni adhabu kubwa zaidi kwa simu zisizoweza kutumika tena, ambayo kampuni inasema inawaongoza watengenezaji kuelekea usafi bora wa prompt (prompt hygiene).

Wakosoaji wanabainisha kuwa mawakala wengi wa ulimwengu halisi wanahitaji kubadilisha prompts papo hapo—kuongeza muktadha, timestamps, au uchaguzi wa zana unaobadilika mara nyingi ni muhimu. Kwa mizigo hiyo ya kazi, bei mpya inaweza kuifanya Anthropic isivutie sana ikilinganishwa na watoa huduma wanaotoza bei isiyobadilika bila kujali cache hits.

Nini cha kufuatilia baadaye

  • Marekebisho ya bei – Anthropic inaweza kurekebisha vigezo vya kuzidisha (multipliers) ikiwa maoni ya jamii yataonyesha kuwa pengo kati ya hit na miss ni kubwa mno.
  • Vipengele vya cache-control – Sasisho za API za baadaye zinaweza kuwaruhusu watengenezaji kuainisha sehemu gani za prompt zinapaswa kuondolewa kwenye cache key, jambo litakalotoa suluhisho la kati.
  • Majibu ya washindani – Watoa huduma wengine wa LLM wanaweza kurekebisha mifumo yao ya cache ili kubaki na ushindani, ama kwa kutoa bei rahisi zaidi au kwa kutoa udhibiti wa kina zaidi wa cache.

Hitimisho

Kwa bei mpya ya cache ya Anthropic, gharama ya prompt miss si usumbufu mdogo tena; ni nyenzo ya kifedha inayoweza kubadilisha bajeti ya mradi kwa kiasi kikubwa. Kuweka system prompts, maelezo ya zana, na metadata husika katika hali isiyobadilika sasa ni muhimu kama vile kuandika kodi bora. Timu zinazochukulia prompt determinism kama kipimo kinachopimika zitaepuka bili za kushtukiza na kubaki na udhibiti wa gharama zao za mawakala wa AI.