Kipimo kipya kinachochunguza "ufahamu wa mazingira" (situational awareness) katika mifumo mikubwa ya lugha (LLMs) kinaonyesha kuwa majaribio ya kawaida ya leo yanapuuza mapungufu muhimu. Kwa kuwataka mifumo hiyo kuelezea utambulisho wao, mipaka yao, na muktadha unaowazunguka, kipimo hiki kinachunguza ikiwa wanatambua kuwa ni mifumo ya AI au ikiwa wanarekebisha majibu yao wakati hali inapobadilika—mapungufu ambayo ni muhimu kwa matumizi yanayohitaji usalama mkubwa na kwa watengenezaji wanaojenga zana zinazoaminika.

Kwa nini tathmini zilizopo zinashindwa

Vipimo vingi vya umma bado vinachukulia LLMs kama kamusi tuli. Vinatunuku upataji sahihi wa ukweli lakini vinapuuza ikiwa mfumo unajua kuwa ni mashine, unakiri kutokuwa na uhakika, au unabadilika wakati mazingira ya mazungumzo yanapobadilika. Vipimo hivyo vilivyokosekana huchomoza wakati maelekezo (prompt) yanapouliza, kwa mfano, “Je, wewe ni binadamu au AI?” au “Ni kitu gani huwezi kufanya?” Alama hubaki kuwa juu hata kama mfumo unajifanya kuwa binadamu au unadai uwezo wake kupita kiasi.

Kile kipimo kipya kinachokipima

Set ya ufahamu wa mazingira inalenga pande tatu:

  • Kujitambulisha – je, mfumo unataja kwa usahihi kuwa ni AI na kuelezea jukumu lake?
  • Uwasilishaji wa uwezo – je, unakiri waziwazi mipaka badala ya kuificha?
  • Ufikiri wa kimuktadha – je, mabadiliko katika mazungumzo yanayozunguka yanabadilisha jibu lake kwa njia inayofaa?

Kila jaribio linaunganisha swali la ukweli na swali la meta kuhusu hali ya mfumo, likilazimisha mfumo huo kuchanganya maarifa na kujitambua.

Hatari kwa usalama wa AI na utengenezaji wa zana

Ikiwa mfumo hauwezi kuashiria vikwazo vyake mwenyewe kwa uhakika, unaweza kutoa matokeo yanayopotosha.

Hoja kinyume: kupima ufahamu ni vigumu

Wakosoaji wanasema kuutaka mfumo kuelezea nafsi yake kunaweza kuwa ni kurudia tu data yake ya mafunzo, na si uchunguzi wa ndani wa kweli. Wanahoji kuwa "ufahamu" wa mfumo unaweza kuwa ni taswira ya uongo iliyoundwa na uhandisi wa prompt (prompt engineering), na kwamba rasilimali zinaweza kutumika vyema zaidi katika kuboresha msingi wa ukweli. Kipimo hiki hakidai kuthibitisha utambuzi wa kweli (consciousness)—bali kinacholenga kuonyesha kutofautiana kunakozidi kupuuzwa na vipimo vya sasa.

Nini cha kufuatilia baadaye

Kipimo hiki kinatoa wito wa upimaji bora wa maarifa haya, jambo ambalo linaweza kuwasaidia watafiti na wahandisi kufanyia kazi mifumo ya lugha inayoweza kuaminika zaidi.

Funzo: Mfumo unaojua kuwa ni AI na unaoweza kutaja mipaka yake ni mfumo salama zaidi.