Amazon Bedrock sasa inaruhusu watengenezaji kuhifadhi (cache) sehemu za maelekezo (prompt), ikipunguza gharama za matumizi ya token hadi 90% na kupunguza ucheleweshaji wa majibu (latency) hadi 85% kwa programu zinazotumia upya sehemu ya awali ya maelekezo isiyobadilika (static prompt prefix).

Kwa nini mabadiliko haya ni muhimu

Kuendesha mifano mikubwa ya lugha (large language models) kulingana na mahitaji kunagharimu pesa kila wakati token zinapotumwa kwa mfano huo. Chatbots, wasaidizi wa kodi (code assistants), na zana za utafutaji wa hati mara nyingi hutuma tena maelekezo yale yale ya mfumo au nyenzo za marejeleo, jambo linaloongeza matumizi na kupunguza kasi ya majibu.

Jinsi uhifadhi wa maelekezo (prompt caching) unavyofanya kazi

Bedrock inaongeza alama ya “cacheable” ambayo watengenezaji huambatisha kwenye sehemu yoyote ya maelekezo—kawaida maelekezo ya kiwango cha mfumo, hati ndefu za maelezo ya awali, au tafsiri za zana ambazo hazibadiliki wakati wa kikao. Ombi linapofika, Bedrock hukagua ikiwa sehemu iliyowekwa alama inafanana na rekodi iliyohifadhiwa. Ikiwa inafanana, huduma hiyo hairudii kuandika upya (re-encoding) na kuendesha sehemu hiyo tena kupitia mfano, badala yake huchukua uwakilishi uliotayarishwa tayari kutoka kwenye cache.

Takwimu

  • Gharama ya token za kuingiza (Input-token cost): upungufu wa hadi 90% kwa sababu sehemu ya awali iliyohifadhiwa haitumii tena token kwa kila ombi.
  • Ucheleweshaji (Latency): kasi ya hadi 85% zaidi kwa sababu kazi nzito ya mfano inaepukwa kwa sehemu isiyobadilika.

Hali zinazofaa zaidi

Kipengele hiki kinafanya kazi vizuri zaidi wakati maelekezo yanapokuwa na sehemu kubwa isiyobadilika ikifuatiwa na swali fupi la mtumiaji linalobadilika. Mifumo ya kawaida ni pamoja na:

  • Mifumo ya Retrieval-augmented generation (RAG) inayoweka hati iliyopatikana mwanzoni mwa kila swali.
  • Chatbots za huduma kwa wateja ambazo huanza kila wakati na taarifa ile ile ya sera au maandishi ya kuweka sauti ya mazungumzo.
  • Wasaidizi wa kodi wanaopakia tafsiri ya zana ya lugha isiyobadilika kabla ya kipande cha kodi cha mtengenezaji.

Nini watengenezaji wanapaswa kubadilisha

Watengenezaji lazima wapange upya maelekezo ili maudhui yasiyobadilika yawe mwanzoni kabisa na yabaki kuwa sawa kabisa (byte-for-byte) katika kila ombi. Maingizo ya mtumiaji yanayobadilika hufuata sehemu ya awali iliyohifadhiwa. Hakuna mabadiliko ya mfano yanayohitajika; njia (endpoints) zilezile za Bedrock hushughulikia ombi hilo.

Nani anafaidika, nani anapaswa kuwa mwangalifu

Faida hii inahusu tu kazi ambapo sehemu ya awali inabaki isiyobadilika kweli. Programu zinazobadilisha maelekezo ya mfumo kulingana na mtumiaji au zinazobadilisha muktadha mara kwa mara zitapata faida ndogo na lazima uzingatie ugumu wa ziada wa maelekezo dhidi ya faida ndogo zinazopatikana.

Hitimisho: Uhifadhi wa maelekezo (Prompt caching) unawapa watumiaji wa Bedrock njia rahisi ya kupunguza gharama za uendeshaji wa AI na kuboresha muda wa majibu, mradi tu programu zao ziweze kutenga sehemu ya awali ya maelekezo inayoweza kutumika upya.