Kile LLM ya Haraka Ilivyonifundisha Kuhusu Dhana

Niliendesha LLM ya bei rahisi na ya haraka kwenye kazi ngumu kwa saa moja. Haikufeli.

Watu wengi wanafikiri kuwa mifano dhaifu hukwama kwenye kazi ndefu. Huacha mwelekeo au kukata tamaa katikati. Lakini mfano huu ulibaki kwenye mstari. Hii ilitokea kwa sababu nilimpa orodha ya matokeo yanayotarajiwa (deliverables).

Nilidhani matokeo haya yanayotarajiwa yaliisaidia usahihi. Nilikuwa nimekosea.

Utafiti unaonyesha kuwa matokeo yanayotarajiwa hayafanyi mfano uwe sahihi zaidi. Yanaufanya mfano uwe rahisi zaidi kuthibitishwa. Mfano huo huandika kazi yake vizuri zaidi. Huacha ushahidi kwa ajili yako kuukagua.

Kuna aina mbili za makosa katika programu (software):

  • Makosa ya utekelezaji (Execution errors): Koma iliyobadilishwa mahali au kosa la hali ya kipekee (edge case) lililosahaulika. Unayarekebisha haya kwa kutumia majaribio (tests) na linting.
  • Makosa ya dhana (Assumption errors): Kuweka mpaka mahali pasipo sahihi. Hili ni gumu zaidi kulirekebisha.

Mchakato husaidia katika makosa ya utekelezaji. Hautatatui makosa ya dhana. Ikiwa wewe na mfano huo mna upofu unaofanana, ukaguzi wako pia utafeli.

AI inabadilisha hesabu ya makosa haya.

Zamani, binadamu alifanya makosa polepole. Hii ilikupa muda wa kuyatambua. Sasa, AI inafanya makosa kwa haraka. Mfano unaweza kujenga saa tatu za kodi (code) kamilifu juu ya dhana moja mbaya kabla hujatambua.

Kadiri mfano unavyoonekana kuwa na uwezo mkubwa, ndivyo unavyouamini zaidi. Unauacha uendelee kwa muda mrefu zaidi. Unaacha kukagua mara kwa mara. Hii ni mtego. Dhana mbaya haitoi taa ya onyo. Inaonekana kama maendeleo mpaka itakapokuwa imeshachelewa.

Sekta inajaribu kurekebisha hili kwa mchakato zaidi. Tunaongeza maelezo zaidi (specs) na mipango zaidi. Hii ni mzigo wa ziada tu. Ni chombo cha utekelezaji kwa tatizo la dhana.

Tunahitaji kuacha kupima jinsi mfano unavyokuwa sahihi mara kwa mara. Tunahitaji kupima jinsi dhana mbaya inavyodumu kabla hatujaigundua.

Katika uzalishaji (production), tunaita hii MTTD: Mean Time To Detect.

Hatuwezi kuzuia kila kosa. Tunaweza tu kufanya makosa kuwa rahisi zaidi kuyarekebisha. Unafanya hivi kwa kuyagundua mapema.

Lengo si tu kupata mfano wenye akili zaidi. Lengo ni kuamua ni wapi bado unahitaji kuwa wewe unayemiliki udhibiti.

Source: https://dev.to/g_correa/what-a-fast-llm-taught-me-about-assumptions-oe

Optional learning community: https://t.me/GyaanSetuAi