Unanakili kurasa mia moja za hati (documentation) kwenye prompt na kuuliza swali rahisi. Jibu linakuja likiwa kosa. Au linapuuza sheria ya uumbaji (formatting rule) uliyotoa juu. Ulimpa kila kitu. Ilipaswa kufanya kazi. Lakini haikufanya.
Hii ndiyo mtego wa muktadha (context trap). Watengenezaji wengi wanadhani kwamba kuipa AI habari nyingi zaidi kutazalisha matokeo bora kiotomatiki. Mara nyingi kinyume ndicho cha kweli. Kujenga programu za AI zinazoaminika kunahitaji kuelewa mbinu tatu kuu: jinsi mifumo (models) inavyohesabu maandishi, kiasi wanachoweza kubeba kwa wakati mmoja, na nini kinatokea kwa habari mara baada ya mazungumzo kuisha.
Tokeni: Sarafu Halisi
Tokeni ni kitengo kidogo zaidi ambacho mfumo wa lugha (language model) huchakata. Inaweza kuwa herufi moja, kipande cha neno, au neno la kawaida lote. Neno “purchase” mara nyingi hugawanyika katika tokeni mbili, wakati neno fupi kama “cat” hubaki kama lilivyo. Alama za uandishi na nafasi pia hutumia tokeni. Kodi (code) ina kiu kubwa zaidi. Kifungu cha Python chenye mfululizo wa nafasi (nested indentation) na alama maalum kinaweza kuongezeka hadi mara tatu au nne ya idadi ya tokeni unayoweza kukisia kwa kukiangalia.
Kwa nini watengenezaji wanapaswa kujali? Bei ya API ni kwa kila tokeni. Vivyo hivyo kwa muda wa uchakataji. Prompt inayoonekana kama kurasa mbili za maandishi inaweza kugharimu senti au dola kulingana na kilichomo ndani. Mbaya zaidi, tokeni huongezeka pande zote mbili za mabadilishano. Unalipia kila tokeni kwenye prompt yako, na unalipia kila tokeni ambayo mfumo unaitoa. Ukuaaji wa muktadha usiodhibitiwa unakula faida polepole.
Dirisha la Muktadha (Context Window) ni Ubao wa Maandishi
Dirisha la muktadha huweka kikomo cha juu cha kile ambacho mfumo unaweza kuona kwa mkupuo mmoja. Wazia ubao wa maandishi (whiteboard) uliotundikwa kwenye chumba kidogo. Unaweza kuujaza kwa maelekezo ya mfumo (system instructions), maswali ya mtumiaji, nyaraka zilizopatikana, na mazungumzo ya awali. Lakini ubao huo hautanuka kamwe. Maandishi mapya yanapofika, maandishi ya zamani huanguka pembeni.
Hili ni muhimu kwa sababu mifumo haikupi onyo inapofanya kuanza kupoteza maudhui. Ikiwa maelekezo yako ya mfumo yako juu kabisa ya mazungumzo marefu, na unaendelea kuongeza ujumbe, maelekezo hayo hatimaye yatatoweka kwenye uoni. Mfumo unaweza kurudi kwenye tabia ya kawaida, kupuuza sheria zako za uumbaji, au kupingana na mwongozo wa awali. Mifumo tofauti inatoa mipaka tofauti, mingine ikishughulikia tokeni elfu chache na mingine ikishughulikia mamia ya maelfu, lakini mbinu inabaki kuwa ile ile. Ingizo (input) na toleo (output) vinashiriki bajeti ile ile. Mfumo unaozalisha jibu la tokeni elfu mbili una tokeni elfu mbili chache zaidi zinazopatikana kwa ajili ya kukumbuka ulichomwambia.
Kumbukumbu ni Mbinu (Hack), si Kipengele (Feature)
Hakuna kumbukumbu ya kudumu ndani ya uzito wa mfumo (model weights) wakati wa uchakataji (inference). Hakuna kabisa. Unapofunga sehemu hiyo (tab) na kurudi kesho, mfumo haukutambui. Kila wito wa API ni mwanzo mpya (cold start).
Kile kinachoonekana kama kumbukumbu ni uwekaji wa kumbukumbu wenye akili unaofanywa na tabaka la programu (application layer). Sehemu ya mbele (frontend) huhifadhi ujumbe wako kwenye kanzi data (database). Unapotuma swali jipya, programu huchukua historia husika, huunganisha kwenye prompt mpya, na kutuma kifurushi kizima kwa mfumo. Mfumo wenyewe unabaki bila kujua.
Tofauti hii ni muhimu kwa timu za bidhaa. Ikiwa unategemea mfumo "kukumbuka" upendeleo wa mtumiaji, unajenga juu ya mchanga. Unahitaji kujenga usimamizi wa hali (state management) wewe mwenyewe. Amua nini kuhifadhi (cache). Amua jinsi ya kukifanya upya. Na tambua kwamba kila baiti ya historia unayotuma tena inakula nafasi ya ubao wako wa maandishi.
Wakati Muktadha Unapokuwa Kelele
Kujaza prompt kupita kiasi kuna madhara yanayotabirika.
Kelele huua ishara (signal). Ikiwa utatupa kanuni zote za programu (codebase) ili kuuliza kuhusu hitilafu (bug) moja, mfumo unakabiliwa na tatizo la "sindano kwenye nyasi" (needle-in-a-haystack). Unaweza kurejelea faili isiyo sahihi, kupendekeza mabadiliko kwenye kodi isiyotumika, au kutoa jibu la jumla kwa sababu haiwezi