મારા બાયસ ડિટેક્ટરે "No Info" માં Cherry-Picking શોધી કાઢી

મેં Biassemble નામનો એક પ્રોજેક્ટ બનાવ્યો.

તેનો હેતુ સરળ છે. તમે તેને એક વાર્તા આપો છો. તે પ્રશ્નો પૂછે છે. તમે કેવી રીતે તર્ક કરો છો તેમાં તે કોગ્નિટિવ બાયસ (cognitive biases) ને ફ્લેગ કરે છે.

મેં એના નામની એક સ્ત્રી વિશેની વાર્તા સાથે તેનું પરીક્ષણ કર્યું. તેની વાર્તામાં માત્ર તથ્યો હતા. તેણે કોફી પીધી. તેણે બસ પકડી. તે તેના ઓફિસ સુધી ચાલીને ગઈ. લખાણમાં કોઈ અભિપ્રાયો કે લાગણીઓ નહોતી.

મારા પહેલા પ્રોમ્પ્ટમાં એક નિયમ હતો: યાદીમાંથી ઓછામાં ઓછો એક બાયસ શોધો.

આ નિયમે સિસ્ટમને કંઈક શોધવા માટે મજબૂર કરી દીધી. જ્યારે કંઈ જ નહોતું, ત્યારે પણ સિસ્ટમે બાયસ શોધવાનો પ્રયાસ કર્યો.

મેં પ્રોમ્પ્ટને version 1.0.0 માં અપડેટ કર્યો. મેં પુરાવા માટેની જરૂરિયાત ઉમેરી. બાયસ અસ્તિત્વ ધરાવે છે તે સાબિત કરવા માટે સિસ્ટમે વાર્તાના ચોક્કસ ભાગોનો ઉલ્લેખ કરવો પડતો હતો.

મને લાગ્યું કે આનાથી સમસ્યા સુધરી જશે. પણ તેવું થયું નહીં.

જ્યારે મેં અનુवर्ती પ્રશ્નોના જવાબમાં "no info" કહ્યું, ત્યારે સિસ્ટમે મને Cherry-Picking માટે ફ્લેગ કર્યો. તેણે દલીલ કરી કે અનુમાન લગાવવાનો મારો ઇનકાર એ ડેટા છોડી દેવાનો એક જાણી જોઈને લીધેલો નિર્ણય હતો.

ટેકનિકલી સિસ્ટમ સાચી હતી. મેં ચાર વાર "no info" કહ્યું હતું. તેણે મારા ચોક્કસ શબ્દોનો ઉલ્લેખ કર્યો હતો. પરંતુ તારણ ખોટું હતું. તેણે માહિતીના અભાવને તર્કની ભૂલમાં ફેરવી નાખ્યો.

Grounding એ અવતરણોને પ્રમાણિક બનાવ્યા. તેણે તારણોને સાચા બનાવ્યા નથી.

મેં version 1.1.0 રિલીઝ કર્યું. મેં ત્રણ નવા ચેક્સ ઉમેર્યા:

પરિણામો બદલાયા. એ જ "no info" જવાબો સાથે, version 1.1.0 એ કોઈ બાયસ રિપોર્ટ કર્યો નહીં. તેણે સ્વીકાર્યું કે મારા જવાબો વર્ણનાત્મક (descriptive) હતા, અર્થઘટનાત્મક (interpretive) નહીં.

બંને વર્ઝન વચ્ચેનો તફાવત પુરાવાનો નથી. તફાવત એ છે કે સિસ્ટમ "I don't know" સાથે કેવી રીતે વ્યવહાર કરે છે.

એક વર્ઝન "I don't know" ને બાયસના સંકેત તરીકે જુએ છે. બીજું તેને એક માન્ય જવાબ તરીકે જુએ છે. તમારે મોડેલને જણાવવું પડશે કે આને કેવી રીતે હેન્ડલ કરવું. તે પોતાની મેળે નિર્ણય લેશે નહીં.

હું હવે આનું પરીક્ષણ કરવા માટે મેટ્રિક્સ બનાવી રહ્યો છું. મારે એ જાણવું છે કે સિસ્ટમ ખરેખર સુધરી છે કે તેણે ફક્ત આ ચોક્કસ વાર્તાને અવગણવાનું શીખી લીધું છે.

મને લાગ્યું કે હું બાયસ ડિટેક્ટર બનાવી રહ્યો છું. તેના બદલે, મેં શીખ્યું કે તર્ક પ્રણાલીઓ (reasoning systems) "I don't know" સાથે કેમ સંઘર્ષ કરે છે.

Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi