Kichujio changu cha upendeleo kilipata Cherry-Picking katika "Hakuna Taarifa"

Nilitengeneza mradi unaitwa Biassemble.

Lengo ni rahisi. Unaupa hadithi. Linauliza maswali. Linatambua upendeleo wa kifikra (cognitive biases) katika jinsi unavyofanya mantiki.

Nilijaribu kwa hadithi kuhusu mwanamke anayeitwa Anna. Hadithi yake ilikuwa na ukweli tu. Alikunywa kahawa. Alipanda basi. Alitembea hadi ofisini kwake. Hakukuwa na maoni wala hisia katika maandishi hayo.

Maelekezo (prompt) yangu ya kwanza yalikuwa na sheria moja: Tambua angalau upendeleo mmoja kutoka kwenye orodha.

Sheria hii ililazimisha mfumo kutafuta kitu fulani. Hata wakati hakuna kitu kilichokuwepo, mfumo ulijaribu kubuni upendeleo.

Nilihusisha maelekezo (prompt) kwenye toleo la 1.0.0. Niliongeza hitaji la ushahidi. Mfumo ulihitajika kunukuu sehemu mahususi za hadithi ili kuthibitisha kuwa upendeleo uliwepo.

Nilidhani hili lilitatua tatizo. Halikufanya hivyo.

Nilipojibu "hakuna taarifa" kwenye maswali ya ziada, mfumo uliniashiria kwa Cherry-Picking. Ulidai kuwa kukataa kwangu kukisia kulikuwa uamuzi wa makusudi wa kupuuza data.

Mfumo ulikuwa sahihi kiufundi. Kwa kweli nilisema "hakuna taarifa" mara nne. Ulidukuu maneno yangu yaleyale. Lakini hitimisho lilikuwa kosa. Liligeuza ukosefu wa taarifa kuwa kosa la mantiki.

Grounding ilifanya nukuu kuwa za kweli. Haikufanya hitimisho kuwa sahihi.

Nilitoa toleo la 1.1.0. Niliongeza ukaguzi mpya mitatu:

Matokeo yalibadilika. Kwa majibu yaleyale ya "hakuna taarifa", toleo la 1.1.0 liliripoti kuwa hakuna upendeleo. Lilitambua kuwa majibu yangu yalikuwa ya kuelezea badala ya kutafsiri.

Tofauti kati ya matoleo mawili si ushahidi. Tofauti ni jinsi mfumo unavyoshughulikia "Sijui".

Toleo moja huona "Sijui" kama ishara ya upendeleo. Lingine huiona kama jibu sahihi. Lazima uliambie modeli jinsi ya kushughulikia hili. Haitafanya maamuzi yenyewe.

Sasa ninatengeneza vipimo (metrics) ili kufanyia jaribio hili. Nahitaji kujua ikiwa mfumo umeimarika kweli au kama umejifunza tu kupuuza hadithi hii mahususi.

Nilidhani nilikuwa ninatengeneza kichujio cha upendeleo. Badala yake, nilijifunza kwa nini mifumo ya mantiki hupata shida na "Sijui".

Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf

Optional learning community: https://t.me/GyaanSetuAi