Jaribio la hivi karibuni linaonyesha kuwa muundo wa kumbukumbu wa tabaka mbili—scratchpad inayotumia RAM pamoja na SQLite-vec vault ya ndani—unatoa muda wa wastani wa hoja chini ya ms 100 huku ukiondoa gharama ya $135 kwa mwezi inayohusishwa na hifadhi maarufu ya cloud vector. Waendelezaji wanaojenga AI agents huru wanaweza kuendesha mfumo wa on-premise pekee ambao, katika jaribio hilo, ulikuwa wa haraka zaidi na haukuleta gharama yoyote ya kila mwezi.
Kwa nini mbinu za sasa za kumbukumbu hazitoshelezi
AI agents mara nyingi huhitaji kukumbuka maelfu ya mwingiliano ya zamani, ukweli, au matokeo ya tool-call ndani ya muda mfupi wa majibu. Timu nyingi huingiza kila embedding kwenye database ya vector inayodhibitiwa na kutegemea utafutaji wa vector wa mbali (remote vector search) kwa kila utafutaji. Mfumo huo unaweza kukua, lakini unalazimisha kila hoja kupitia mtandao, jambo linaloongeza muda wa safari ya data (round-trip time) na matumizi ya kila mwezi. Katika jaribio hilo, muda wa wastani wa kuchelewa (latency) wa huduma ya cloud ulikuwa ms 127 na bili ilifikia zaidi ya $135 kwa mwezi; kipindi cha jaribio pia kilirekodi hitilafu (outage).
Kugawanya kumbukumbu katika ngazi mbili
Muundo huu wa ngazi mbili unatenganisha “working memory” na “long-term storage”:
L1 Scratchpad (RAM)
- Huishi kikamilifu kwenye kumbukumbu ya mchakato (process memory).
- Huweka muktadha wa kazi ya sasa na tool calls za hivi karibuni zaidi.
- Huhifadhi maandishi ghafi (raw strings); hakuna embeddings zinazozalishwa.
- Hutoa matokeo chini ya ms 3, inayolingana na CPU cache.
L2 Vault (SQLite-vec)
- Huhifadhi embeddings nyingine zote kwenye database ya ndani ya SQLite iliyopanuliwa kwa uwezo wa utafutaji wa vector.
- Inashughulikia seti nzima ya kumbukumbu 14,726 zilizotumika katika jaribio.
- Hutoa matokeo yanayolingana katika takriban ms 94, ikiwa chini ya lengo la ms 100 kwa ajili ya AI agents wengi wa muda halisi (real-time).
- Haigharimu chochote zaidi ya nafasi ya kuhifadhia ya mashine inayohifadhi (host machine).
SQLite-vec ni nyongeza ya chanzo huru (open-source extension) inayoongeza utafutaji wa jirani wa karibu (approximate nearest-neighbor search) kwenye faili ya kawaida ya uhusiano (relational file). Kwa sababu database inakaa kwenye mashine ile ile na agent, hakuna hatua ya mtandao (network hop), na injini hutumia mbinu za SQLite zilizopo ili kufanya utafutaji kuwa wa haraka.
Namba muhimu
| Mfumo | Muda wa wastani wa kuchelewa | Gharama ya kila mwezi | Uaminifu ulioripotiwa |
|---|---|---|---|
| Cloud vector store (Pinecone) | 127 ms | ~$135 | Hitilafu zilizingatiwa |
| Local SQLite-vec vault | 94 ms | $0 | Upatikanaji wa 100% |
Tofauti ya gharama ni $0 dhidi ya takriban $135 kwa mwezi.
Kuifanya vault iwe safi
Kuweka embeddings zote ghafi kunaweza kupunguza umuhimu wa matokeo. Mwandishi wa jaribio hili alianzisha mfumo wa kupungua (decay system) unaotoa alama kwa kumbukumbu kulingana na upya na marudio:
- Vitu vipya au vinavyofikiwa mara kwa mara hupata uzito mkubwa zaidi.
- Vitu ambavyo havijaguswa kwa muda fulani hupoteza uzito hatua kwa hatua.
- Kupungua kwa uzito (weighted decay) hupunguza “retrieval noise”—matokeo yasiyohusika—kwa 34%.
Kwa kupunguza (pruning) sehemu zenye alama ndogo au kuzishusha daraja kwenye index, agent huepuka data iliyopitwa na wakati huku akiweka vault ikiwa nyepesi kwa ajili ya utendaji thabiti.
Hitimisho
Kwa AI agents zinazohitaji kusimamia maelfu ya kumbukumbu chini ya muda mfupi, scratchpad inayopendelea RAM ikishirikiana na SQLite-vec vault ya ndani inatoa mbadala wa kiufundi kwa hifadhi za vector zinazotegemea cloud kikamilifu. Mbinu hii inapunguza muda wa majibu, inaondoa ada za cloud zinazojirudia, na kutoa huduma isiyokatika, huku ikihifadhi uwezo wa kupunguza data isiyohusika. Kwa hivyo, kuanza kutumia mfumo huu wa ngazi mbili kunaweza kufanya agents kuwa za haraka zaidi, rahisi zaidi, na zinazoaminika zaidi.