Google DeepMind imeanzisha mpango wa majaribio unaotumia upimaji wa kulinganisha wa siri mbili wa kiamatiki (cryptographic double-blind benchmarking) ili kutathmini miundo yake ya Gemini Flash Lite bila kufichua maelekezo ya majaribio (test prompts) au uzito wa modeli (model weights). Tathmini hiyo inafanyika ndani ya Confidential Space ya Google Cloud, hivyo mweka tathmini haoni modeli na modeli haioni maswali—njia ambayo inaweza kurejesha uaminifu katika ripoti za utendaji wa AI.

Kwa nini uchafuzi wa upimaji (benchmark contamination) ni muhimu

Ikiwa modeli inajifunza kwa kutumia data ambayo baadaye inaonekana kwenye upimaji, alama yake huacha kupima uwezo wa kufikiri na badala yake inakuwa ni uwezo wa kukariri. Matokeo bora kwenye mtihani uliotiwa uchafuzi, kwa hivyo, hayatoi taarifa yoyote kuhusu uwezo wa kweli. Watafiti wamekuwa wakikabiliwa na kitendawili kwa muda mrefu: lazima watoe data ya mtihani kwa mtoa huduma wa modeli ili kuthibitisha upimaji, jambo linaloweza kusababisha ufichuaji wa mapema, au lazima wakatae ufikiaji wa nje ili kulinda uzito wa modeli wenye hakimiliki, jambo linaloacha ukaguzi bila kuthibitishwa. Ucheleweshaji wa hivi karibuni katika kutathmini Fable 5 ya Anthropic kwenye upimaji wa ARC-AGI unaonyesha jinsi sera kali za kuhifadhi data zinavyoweza kukwamisha tathmini huru.

Suluhisho la kiamatiki (cryptographic)

Mpango huu wa majaribio umebadilisha mikataba ya kisheria na ahadi za "kutorekodi chochote" (zero-logging) kuwa kinga ya kiufundi. Confidential Space inatengeneza enclave iliyotengwa kwa njia ya vifaa (hardware-isolated enclave) inayojiendesha na modeli ya Gemini Flash Lite. Mweka tathmini anapakia seti ya majaribio, ambayo enclave huifunga kwenye "sanduku" la kiamatiki ambalo modeli haiwezi kulifungua. Wakati huo huo, uzito wa modeli unabaki ukiwa umefungwa (encrypted) ndani ya enclave, bila kuonekana na mweka tathmini. Enclave inatengeneza ushahidi wa kimahesabu kwamba modeli haikufikia maelekezo (prompts) wakati wa uchakataji (inference). Matokeo yake ni utendaji wa kweli wa siri mbili: pande zote mbili zinatunza siri zao huku upande wa tatu ukipokea kipimo cha utendaji kinachoweza kuthibitishwa.

Nani anayefaidika

  • Wadhibiti na wakaguzi sasa wanaweza kudai ushahidi wa uwezo bila kuwalazimisha watoa huduma kufichua siri za biashara.
  • Mashirika katika usalama wa mtandao, ulinzi, au nyanja yoyote inayoshughulikia data za siri wanaweza kujaribu zana za AI bila hatari ya kuvuja kwa data.
  • Waendelezaji wa modeli wanabaki na ushindani wao; hawahitaji tena kuchagua kati ya uwazi na ulinzi.

Ikiwa njia hii itapanuka, inaweza kuwa njia ya kawaida ya kuthibitisha modeli za kisasa zaidi (frontier models), ikihamisha tasnia kutoka kwenye mipango inayotegemea uaminifu kwenda kwenye dhamana inayotegemea hisabati.

Changamoto zinazoweza kujitokeza

Mfumo huu unategemea mfumo wa kompyuta za siri (confidential computing stack) wa Google Cloud, hivyo mashirika yanayopendelea watoa huduma wengine wa wingu yanaweza kukumbana na vikwazo vya ushirikiano (integration hurdles). Kuendesha modeli ndani ya enclave huongeza ucheleweshaji (latency) na hupunguza uwezo wa vifaa vya kuongeza kasi (hardware accelerators), jambo ambalo linaweza kuathiri alama za upimaji. Pia, ingawa ushahidi wa kiamatiki unahakikisha kuwa modeli haikuona maelekezo, haizuia mabadiliko mengine, kama vile marekebisho madogo (fine-tuning) baada ya mtihani kuanza. Wakosoaji wanaweza kudai kuwa suluhisho hili linashughulikia tu sehemu ndogo ya tatizo pana la uwezo wa kurudia matokeo (reproducibility problem).

Nini cha kufuatilia baadaye

  • Utekelezaji zaidi ya jaribio – maabara nyingine za AI na watoa huduma wa wingu wanaweza kujenga enclave zinazoendana, wakijaribu ikiwa modeli inaweza kukaguliwa kwenye majukwaa mbalimbali.
  • Mamlaka zinazoweka viwango – vikundi vya usalama wa AI vinaweza kuweka kanuni za ukaguzi wa kiamatiki wa siri mbili kama sehemu ya mifumo ya uthibitishaji.
  • Mabadilishano ya utendaji (performance trade-offs) – utendaji wa upimaji wa ulimwengu halisi utafichua ikiwa gharama ya utendaji wa siri (confidential execution) inakubalika kwa modeli kubwa.

Hitimisho

Kwa kufunga data ya mtihani na modeli ndani ya mazingira ya kiamatiki ambayo hayafichui siri kwa upande wowote, mpango wa majaribio wa Google DeepMind unatoa njia madhubuti ya upimaji wa AI unaoaminika. Njia hii haiondoi kila changamoto ya ukaguzi, lakini inaondoa chanzo kikubwa cha upendeleo—uchafuzi wa upimaji (benchmark contamination)—bila kulazimisha upande wowote kukabidhi rasilimali zake muhimu zaidi. Ikiwa jamii itakubali mbinu hii, ripoti za maendeleo ya AI za baadaye zinaweza hatimaye kuaminika moja kwa moja.