Mifumo mikubwa ya lugha (LLMs) imekua kupitia vipimo vitatu vinavyojulikana. Tunapanua mafunzo ya awali (pre-training) kwa kuipa mifumo hii maandishi mengi zaidi. Tunaboresha kwa njia ya mafunzo ya baada ya awali (post-training) ili kuimarisha uwezo wa kufuata maelekezo. Tunatumia nguvu kubwa ya kompyuta wakati wa majaribio (test-time compute) ili kuharakisha majibu. Kila moja kati ya hizi inaisukuma mifumo hiyo kuzalisha maandishi bora zaidi, ya haraka zaidi, na yenye mtiririko mzuri zaidi. Hakuna inayoshughulikia moja kwa moja tatizo gumu zaidi: kujua ikiwa maandishi hayo ni sahihi kweli.
Pengo hilo linakuwa hatari. Mfumo unaweza kutoa msimbo wa Python wenye mpangilio (indentation) kamili na muundo wa kimantiki ambao unatoa hitilafu mara tu unapofanya kazi. Unaweza kuelezea dalili ya kimatibabu kwa mamlaka na utulivu lakini ukatoa utambuzi wa ugonjwa uliopinduka. Kwa roboti za mazungumzo (chatbots), hizi ni hitilafu zinazotia aibu. Kwa mawakala huru (autonomous agents) wanaofanya kazi bila uangalizi wa binadamu, hizi ni kushindwa kwingi zenye matokeo halisi. Uzalishaji na ukweli si ujuzi mmoja, na kutambua tofauti hiyo ni hatua ya kwanza kuelekea kujenga mifumo tunayoweza kuitegemea.
Mtego wa Uzalishaji
Njia tatu za kawaida za upanuzi zinaboresha mtiririko na ukamilishaji wa kazi, si usahihi wa maarifa (epistemic accuracy). Mafunzo ya awali (pre-training) hujenga mifumo pana ya kitakwimu kupitia trilioni za tokeni. Mafunzo ya baada ya awali (post-training) huunganisha mfumo na mapendeleo ya binadamu, ambayo mara nyingi hutia chumvi upole na ujasiri badala ya usahihi mkali. Nguvu ya kompyuta wakati wa majaribio (test-time compute) huipa mfumo tokeni nyingi zaidi za kufikiri kwa kila ombi, ikiboresha mpangilio na muundo wa hatua kwa hatua, lakini bado inachukulia matokeo ya mwisho kama hotuba ya upande mmoja badala ya jibu lililokaguliwa.
Matokeo yake ni mtego wa mtiririko. Msimbo unaonekana safi. Maelezo yanaonekana ya mamlaka. Ukweli unaonekana sahihi. Lakini urembo wa nje unaficha makosa ya ndani. Msanidi programu anayebandika msimbo uliozalishwa kwenye mfumo wa uzalishaji (production pipeline) bila kuukagua anahatarisha kusimama kwa kazi. Tabibu anayetumia msaidizi wa AI anakabiliwa na dhima kubwa ikiwa mfumo utachanganya mwingiliano wa dawa mbili zinazofanana. Tumefundisha mifumo ifanye kazi, si kujikagua yenyewe.
Uhakiki kama Kipimo cha Upanuzi
Mfumo unaitwa LLM-as-a-Verifier unatafsiri tatizo hili upya kabisa. Badala ya kuchukulia uhakiki kama jambo la baadae au hatua tofauti ya ukaguzi wa binadamu, unachukulia tathmini ya kibinafsi kama kipimo cha nne cha upanuzi pamoja na mafunzo ya awali, mafunzo ya baada ya awali, na uharakishaji wa hitimisho (inference acceleration).
Wazo ni kutumia uwezo wa mantiki uliopo wa mfumo ili kuhukumu matokeo yake yenyewe. Baada ya kuzalisha jibu linalofikiriwa, mfumo huo huo unarudi nyuma na kulikagua. Hii inatengeneza mzunguko uliofungwa: zalisha, toa alama, rekebisha, rudia. Mfumo haufundishwi upya kwa uzito (weights) au seti mpya za data. Unatumia tu akili ambayo tayari inayo kwenye kiolezo tofauti cha maelekezo (prompt template), cha mkosoaji badala ya mwandishi.
Mabadiliko haya ni muhimu kwa sababu yanatenganisha uwezo na uaminifu. Mfumo mdogo unaohakiki vizuri unaweza kufanya vizuri kuliko mfumo mkubwa usiofanya hivyo. Unapanua uwezo wa kuhukumu, si idadi ya vigezo (parameters) pekee, na hiyo inabadilisha kile ambacho mfumo kinaweza kufanya kwa usalama.
Nguvu ya Utoaji Alama wa Uwezekano
Majaribio mengi ya uhakiki hushindwa kwa sababu yanahitaji uamuzi wa aina mbili (binary). Je, jibu hili ni sahihi? Ndiyo au hapana. Ishara hiyo rahisi inapoteza habari muhimu. Jibu linaweza kuwa sahihi kwa kiasi kikubwa lakini likiwa na kasoro moja ya hatari, au likiwa na makosa mengi lakini likiwa na wazo moja la busara. Alama ya aina mbili inafuta nuances zote hizo na kubaki na bit moja tu.
LLM-as-a-Verifier inachukua nafasi ya hii kwa kutumia utoaji alama wa uwezekano (probabilistic scoring). Badala ya ishara ya kukubali au kukataa, mfumo unarudisha namba inayobadilika, kama 0.92. Desimali hiyo ina maana. Inakuambia kuwa mfumo una uhakika karibu kwamba jibu ni sahihi, au unahisi kuna kitu hakiko sawa kwa 0.34. Binadamu wanaosimamia mfumo wanaweza kuweka viwango (thresholds). Chochote chini ya 0.60 kinaweza kusababisha uzalishaji upya wa kiotomatiki. Kiwango kati ya 0.60 na 0.85 kinaweza kuashiria ukaguzi wa binadamu. Juu ya 0.90, mfumo hufanya kazi yenyewe.
Alama zinazobadilika pia zinawezesha hesabu juu ya ujasiri. Unaweza kuchukua wastani wa ukaguzi nyingi, kuzipa uzito kulingana na mabadiliko ya maelekezo, au kulinganisha alama za majibu tofauti ili kuchagua bora zaidi. Maamuzi ya aina mbili hayasaidii aina hiyo ya ufanyaji maamuzi wa kina.
Faida Tatu za Vitendo
Mfumo huu unapata nguvu yake kutokana na sifa tatu mahususi.
Kiwango cha undani (Granularity). Alama ya 0.82 inawasilisha kitu ambacho "sahihi" haionyeshi. Inamaanisha uhakika wa karibu kabisa wenye shaka kidogo iliyobaki. Katika uhandisi wa programu, hiyo inaweza kumaanisha kuwa kodi inajipanga (compiles) na kushughulikia kesi kuu lakini huenda ikakosa hali ya ukingoni (edge condition). Katika mantiki ya kitabibu, inaweza kuashiria utambuzi unaoelekea kuwa sahihi ambao bado unahitaji kipimo cha kuthibitisha. Alama zenye kiwango cha undani huwezesha mifumo inayofuata kurekebisha mwitikio wao badala ya kuchukulia mafanikio yote kuwa sawa.
Marudio (Repetition). Kwa sababu uhakiki ni rahisi ikilinganishwa na uundaji, unaweza kuufanya mara nyingi kwa mabadiliko madogo ya maelekezo (prompt) au mipangilio ya joto (temperature settings). Ikiwa ukaguzi wa tatu usiohusiana utatoa 0.91, 0.89, na 0.93, una makubaliano. Ikiwa yatatofautiana sana, kwa mfano 0.91, 0.42, na 0.87, unajua kuwa modeli haina uhakika na jibu linahitaji marekebisho. Upigaji kura wa wengi miongoni mwa waamuzi wa aina mbili (binary judges) ni wa jumla sana. Wastani wa alama endelevu huibua utata.
Uvunjaji-vipande (Decomposition). Kazi tata mara chache hukosea kila mahali kwa wakati mmoja. Kazi ya roboti inaweza kugawanyika katika utambuzi, upangaji, na utekelezaji wa motari (motor execution). Kazi ya uhandisi wa programu inaweza kutenganishwa katika usanifu wa algoriti, utekelezaji, na ufunikaji wa majaribio (testing coverage). Alama za uwezekano (probabilistic scoring) humruhusu mhakiki kutathmini kila sehemu ndogo mmoja mmoja. Unajifunza si tu kwamba jibu ni dhaifu, bali ni wapi lilipo dhaifu. Usahihi huo wa utambuzi hufanya ukarabati kuwa wa haraka na wenye lengo mahususi.
Matokeo katika Maeneo Magumu
Manufaa ya mfumo huu unaonekana