Moduli mpya ya “proactive memory” inaruhusu mawakala wa mifumo mikubwa ya lugha (LLM) kufuatilia mahitaji ya kazi, ukweli wa mazingira, na makosa ya awali—bila kuhitaji kurekebisha (fine-tuning) modeli ya msingi. Katika majaribio ya kulinganisha, nyongeza hiyo ilipandisha alama ya Sonnet 4.5 kwa asilimia 8.3 kwenye Terminal-Bench 2.0 na kwa pointi 6.8 kwenye seti ya τ2-Bench; wakala wa kumbukumbu uliopata mafunzo ya SETA uliongeza pass@1 ya modeli iliyogandishwa kutoka 37.6 % hadi 41.1 % kwenye matatizo ambayo hayajawahi kuonekana.

Kwa nini mawakala hupoteza mwelekeo

Wakala anayeendeshwa na LLM anapofuata utaratibu wa hatua nyingi, "hali" yake ya ndani hupungua. Watafiti huiita hii “behavioral state decay”: modeli husahau maelekezo ya awali, ukweli muhimu, au makosa ambayo tayari imefanya. Matokeo yake ni mfululizo wa maamuzi mabaya ambayo husitisha kazi muda mrefu kabla ya kukamilika.

Suluhisho la kawaida ni kutanua dirisha la muktadha (context window)—sehemu ya maandishi ambayo modeli inaweza kuizingatia kwa wakati mmoja. Hilo husaidia tu hadi pale kazi inapozidi ukubwa wa dirisha hilo; taarifa za zamani huondolewa na mchakato wa kupungua unaendelea tena.

Kikumbusho kinachofanya kazi pale tu inapohitajika

Njia hii mpya inaongeza wakala mwepesi wa kumbukumbu msaidizi ambaye hufuatilia mfululizo wa mantiki wa modeli kuu na kuingiza vikumbusho vilivyolengwa. Badala ya kuvuta orodha isiyobadilika ya vipande vya zamani, moduli ya kumbukumbu huamua lini na nini cha kuonyesha, ikifanya kazi pale tu modeli kuu inapoonekana kupoteza mwelekeo.

Kwa sababu mfunzi wa kumbukumbu hufundishwa kando, modeli kuu ya utendaji inabaki ikiwa imegandishwa. Utafiti unaonyesha kuwa utengano huu bado unaleta mafanikio makubwa kwenye majaribio ya muda mrefu (long-horizon benchmarks), ukithibitisha kuwa vikumbusho vya proactive vinaweza kufidia dirisha la muktadha lililobana.

Namba zinachosema

  • Terminal-Bench 2.0: Sonnet 4.5 inapanda kwa pointi 8.3 juu ya kiwango chake cha awali.
  • τ2-Bench suite: Modeli hiyo hiyo inaimarika kwa pointi 6.8.
  • Pass@1 kwenye majaribio ya nje: Wakala wa kumbukumbu uliopata mafunzo ya SETA unaongeza modeli iliyogandishwa kutoka 37.6 % hadi 41.1 %.

Ongezeko hili hutokea bila kurekebisha (fine-tuning) ziada kwa modeli kuu, hivyo sehemu ya kumbukumbu inaweza kubadilishwa kuingizwa au kutolewa kwenye mifumo iliyopo.

Mipaka ya kazi ya sasa

Majaribio haya hayajafikia hatua ya kujaribu:

  • Ukubwa (Scale): Bado hakuna ushahidi kwamba moduli ya kumbukumbu inafanya kazi kwa njia hiyo hiyo na modeli zenye mabilioni ya vigezo (parameters) au kazi zinazoendelea kwa hatua mamilioni.
  • Gharama za uzalishaji: Kuhifadhi na kurejesha vikumbusho huongeza mzigo wa kazi, lakini utafiti haujapima kiasi cha kumbukumbu au nguvu ya kompyuta (compute) inayohitajika katika mfumo wa ulimwengu halisi.

Nini cha kufuatilia baadaye

Seti za majaribio ya baadaye zitahitaji kupima zaidi ya ukubwa wa muktadha ghafi pekee. Majaribio yanayofuatilia wazi kupungua kwa hali (state decay) na kutoa zawadi kwa mifumo ya vikumbusho inayofanya kazi kwa haraka yatatoa picha ya wazi zaidi ya uimara wa muda mrefu wa wakala. Watafiti pia lazima waonyeshe kwamba proactive memory inapanuka kwa ufanisi, katika ukubwa wa modeli na gharama za uendeshaji.

Muhtasari: Moduli ndogo ya kumbukumbu iliyofundishwa kando inaweza kufanya kazi kama mlinzi kwa mawakala wa mifumo mikubwa ya lugha (LLM), ikigundua na kurekebisha mwelekeo mbaya kabla haujaharibu kazi.