"No Info" എന്നതിൽ എന്റെ ബയാസ് ഡിറ്റക്ടർ ചെറി-പിക്കിംഗ് (Cherry-Picking) കണ്ടെത്തി

ഞാൻ Biassemble എന്ന പേരിൽ ഒരു പ്രോജക്റ്റ് നിർമ്മിച്ചു.

ഇതിന്റെ ലക്ഷ്യം ലളിതമാണ്. നിങ്ങൾ ഒരു കഥ നൽകുന്നു. അത് ചോദ്യങ്ങൾ ചോദിക്കുന്നു. നിങ്ങളുടെ യുക്തിചിന്തയിലെ കോഗ്നിറ്റീവ് ബയാസുകൾ (cognitive biases) അത് അടയാളപ്പെടുത്തുന്നു.

അന്ന എന്ന സ്ത്രീയെക്കുറിച്ചുള്ള ഒരു കഥ ഉപയോഗിച്ച് ഞാൻ ഇത് പരീക്ഷിച്ചു. ആ കഥയിൽ വസ്തുതകൾ മാത്രമേ ഉണ്ടായിരുന്നുള്ളൂ. അവൾ കാപ്പി കുടിച്ചു. അവൾ ഒരു ബസ്സിൽ കയറി. അവൾ ഓഫീസിലേക്ക് നടന്നുപോയി. ആ വരികളിൽ അഭിപ്രായങ്ങളോ വികാരങ്ങളോ ഉണ്ടായിരുന്നില്ല.

എന്റെ ആദ്യത്തെ പ്രോംപ്റ്റിൽ (prompt) ഒരു നിയമമേ ഉണ്ടായിരുന്നുള്ളൂ: നൽകിയിട്ടുള്ള പട്ടികയിൽ നിന്ന് കുറഞ്ഞത് ഒരു ബയാസ് എങ്കിലും കണ്ടെത്തുക.

ഈ നിയമം എന്തെങ്കിലും ഒന്ന് കണ്ടെത്താൻ സിസ്റ്റത്തെ നിർബന്ധിച്ചു. ഒന്നും ഇല്ലാതിരുന്നിട്ടും, സിസ്റ്റം ഒരു ബയാസ് നിർമ്മിച്ചെടുക്കാൻ ശ്രമിച്ചു.

ഞാൻ പ്രോംപ്റ്റ് 1.0.0 പതിപ്പിലേക്ക് അപ്‌ഡേറ്റ് ചെയ്തു. തെളിവുകൾ വേണമെന്ന നിബന്ധന ഞാൻ കൂട്ടിച്ചേർത്തു. ഒരു ബയാസ് ഉണ്ടെന്ന് തെളിയിക്കാൻ കഥയിലെ പ്രത്യേക ഭാഗങ്ങൾ സിസ്റ്റം ഉദ്ധരിക്കേണ്ടതുണ്ടായി.

ഇത് പ്രശ്നം പരിഹരിക്കുമെന്ന് ഞാൻ കരുതി. പക്ഷേ അത് നടന്നില്ല.

തുടർചോദ്യങ്ങൾക്ക് ഞാൻ "no info" എന്ന് മറുപടി നൽകിയപ്പോൾ, സിസ്റ്റം എന്നെ ചെറി-പിക്കിംഗിന് (Cherry-Picking) കുറ്റപ്പെടുത്തി. ഊഹങ്ങൾ പറയുന്നതിനോടുള്ള എന്റെ വിമുഖത, വിവരങ്ങൾ ഒഴിവാക്കാനുള്ള ബോധപൂർവ്വമായ തീരുമാനമാണെന്ന് അത് വാദിച്ചു.

സാങ്കേതികമായി സിസ്റ്റം പറഞ്ഞത് ശരിയായിരുന്നു. ഞാൻ നാല് തവണ "no info" എന്ന് പറഞ്ഞിരുന്നു. അത് എന്റെ കൃത്യമായ വാക്കുകൾ തന്നെ ഉദ്ധരിച്ചു. എന്നാൽ നിഗമനം തെറ്റായിരുന്നു. വിവരങ്ങളുടെ അഭാവത്തെ അത് യുക്തിപരമായ പിശകായി (reasoning error) മാറ്റി.

ഗ്രൗണ്ടിംഗ് (Grounding) ഉദ്ധരണികളെ സത്യസന്ധമാക്കി. എന്നാൽ അത് നിഗമനങ്ങളെ ശരിയായില്ല.

ഞാൻ പതിപ്പ് 1.1.0 പുറത്തിറക്കി. മൂന്ന് പുതിയ പരിശോധനകൾ ഞാൻ കൂട്ടിച്ചേർത്തു:

ഫലങ്ങളിൽ മാറ്റം വന്നു. അതേ "no info" മറുപടികൾ നൽകിയിട്ടും പതിപ്പ് 1.1.0 ഒരു ബയാസും റിപ്പോർട്ട് ചെയ്തില്ല. എന്റെ മറുപടികൾ വ്യാഖ്യാനങ്ങളല്ല (interpretive), മറിച്ച് വിവരണാത്മകമാണെന്ന് (descriptive) അത് തിരിച്ചറിഞ്ഞു.

രണ്ട് പതിപ്പുകളും തമ്മിലുള്ള വ്യത്യാസം തെളിവുകളല്ല. "എനിക്കറിയില്ല" (I don't know) എന്നതിനെ സിസ്റ്റം എങ്ങനെ കൈകാര്യം ചെയ്യുന്നു എന്നതിലാണ് വ്യത്യാസം.

ഒരു പതിപ്പ് "എനിക്കറിയില്ല" എന്നതിനെ ഒരു ബയാസിന്റെ ലക്ഷണമായി കാണുന്നു. മറ്റേത് അതിനെ ഒരു സാധുവായ മറുപടിയായി കാണുന്നു. ഇത് എങ്ങനെ കൈകാര്യം ചെയ്യണമെന്ന് നിങ്ങൾ മോഡലിനോട് പറയണം. അത് സ്വയം തീരുമാനിക്കില്ല.

ഇത് പരിശോധിക്കാനായി ഞാൻ ഇപ്പോൾ മെട്രിക്സുകൾ (metrics) നിർമ്മിച്ചുകൊണ്ടിരിക്കുകയാണ്. സിസ്റ്റം യഥാർത്ഥത്തിൽ മെച്ചപ്പെട്ടോ അതോ ഈ പ്രത്യേക കഥയെ അവഗണിക്കാൻ പഠിച്ചോ എന്ന് എനിക്ക് അറിയേണ്ടതുണ്ട്.

ഞാൻ ഒരു ബയാസ് ഡിറ്റക്ടർ നിർമ്മിക്കുകയാണെന്നാണ് കരുതിയത്. പകരം, "എനിക്കറിയില്ല" എന്ന ചോദ്യം വരുമ്പോൾ യുക്തിചിന്താ സംവിധാനങ്ങൾ (reasoning systems) എന്തുകൊണ്ടാണ് ബുദ്ധിമുട്ടുന്നത് എന്ന് ഞാൻ മനസ്സിലാക്കി.

Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf

Optional learning community: https://t.me/GyaanSetuAi