Mavazi ya Akidi: Kwa Nini Uhakiki wa Wakala Unahitaji Uingizaji wa Hitilafu
Wakala wako wa AI anaweza kuwa anakudanganya kuhusu usahihi wake mwenyewe.
Hivi karibuni nilimshuhudia mshirika wa AI akifeli mara tatu mfululizo. Alikosa tatizo lile lile la ukweli katika sehemu tofauti. Aliandika kwa sauti isiyo sahihi. Mtindo wa mkaguzi (reviewer model) alimpa alama ya juu kila wakati aliposoma kosa lile lile. Hata alikosea kuhesabu ukweli kuhusu mabadiliko ya ukweli (fact drift).
Niliweza tu kugundua makosa haya kwa sababu nilikuwa nje ya mzunguko (loop).
Hii inafichua tatizo kubwa katika mfumo wa wakala (agent stack). Mifumo mingi ya uhakiki inadhani kuna uhuru (independence). Wanatumia upigaji kura wa wakala wengi (multi-agent voting), mifumo ya mtengenezaji/mkaguzi (maker/checker patterns), au maelekezo ya pamoja (ensemble prompts). Wanadhani njia tofauti zitaona vitu tofauti.
Lakini mara nyingi, njia hizi zinashiriki chanzo kimoja.
Wakati mkaguzi anaposoma kutoka chanzo kile kile kama mwandishi, huna mitazamo miwili. Una mtazamo mmoja uliovalia kofia mbili tofauti. Hii ni sehemu moja ya hitilafu (single point of failure) iliyovalia mavazi ya akidi (quorum costume).
Ikiwa njia hizo zinashiriki chanzo cha juu (upstream), zitakubaliana juu ya ukweli uleule usio sahihi au njozi (hallucination) ileile. Mfumo unaonekana kuwa mzima kwa sababu matokeo yanaonekana tofauti, lakini unafeli kila wakati chanzo kinapodanganya.
Ili kurekebisha hili, lazima utumie uingizaji wa hitilafu (fault injection).
Usipime tu ikiwa wakala wanatofautiana. Pima ikiwa unaweza kuwalazimisha watofautiane kwa kuvunja sehemu ya mfumo.
Hivi ndivyo unavyoweza kujaribu mfumo wako:
- Ingiza kumbukumbu mbaya: Panda ukweli wa uongo katika njia moja ya upatikanaji (retrieval path). Ikiwa njia zote mbili zinarudisha ukweli huo wa uongo, njia zako zimeunganishwa (coupled).
- Badili sheria: Badilisha sheria ukiwa nje ya mtandao (offline). Ikiwa mtengenezaji na mkaguzi wote watafuata sheria hiyo mpya bila kuashiria kutofautiana, wanashiriki kumbukumbu ya muda (cache).
- Panda telemetry isiyo sahihi: Rekodi ID ya uongo ya mtindo (model ID). Ikiwa ukaguzi utafanikiwa, mkaguzi anasoma rekodi ile ile kama mwandishi.
Mifumo iliyosambazwa (distributed systems) ilitatua hili miaka mingi iliyopita. Wanatumia uhandisi wa machafuko (chaos engineering) na majaribio ya utengano (partition tests). Hawauamini mfumo kwa kuuona ukifanya kazi vizuri. Wanauamini kwa kuusababishia hitilafu.
Mifumo ya usanifu wa wakala (agent architectures) lazima ikubali nidhamu hii.
Uhuru si sifa unayoiweka mara moja. Ni sifa ambayo lazima uihakiki mara kwa mara. Kumbukumbu ya muda (cache) inayoshirikiwa au sasisho la mtindo linaweza kuangusha uhuru wako usiku mmoja.
Acha kuamini kura za upatanifu. Anza kuingiza hitilafu.
Source: https://dev.to/jugeni/a-quorum-costume-why-agent-verification-needs-fault-injection-kbh
Optional learning community: https://t.me/GyaanSetuAi