నా బయాస్ డిటెక్టర్ "No Info"లో చెర్రీ-పికింగ్ను గుర్తించింది
నేను Biassemble అనే ప్రాజెక్ట్ను రూపొందించాను.
దీని లక్ష్యం చాలా సరళమైనది. మీరు ఒక కథను ఇస్తే, అది ప్రశ్నలు అడుగుతుంది. మీరు ఆలోచించే విధానంలో ఉండే కాగ్నిటివ్ బయాస్లను (cognitive biases) ఇది గుర్తిస్తుంది.
నేను దీనిని Anna అనే మహిళకు సంబంధించిన ఒక కథతో పరీక్షించాను. ఆ కథలో కేవలం వాస్తవాలు మాత్రమే ఉన్నాయి. ఆమె కాఫీ తాగింది. బస్సు ఎక్కింది. తన ఆఫీసుకి నడిచి వెళ్ళింది. ఆ టెక్స్ట్లో ఎటువంటి అభిప్రాయాలు లేదా భావోద్వేగాలు లేవు.
నా మొదటి ప్రాంప్ట్కు ఒకే ఒక నియమం ఉంది: ఒక జాబితా నుండి కనీసం ఒక బయాస్ను గుర్తించాలి.
ఈ నియమం వల్ల సిస్టమ్ ఏదో ఒకటి కనుగొనాల్సి వస్తోంది. అక్కడ ఏమీ లేకపోయినా, సిస్టమ్ ఒక బయాస్ను సృష్టించడానికి ప్రయత్నించింది.
నేను ప్రాంప్ట్ను వెర్షన్ 1.0.0కి అప్డేట్ చేశాను. సాక్ష్యాల కోసం ఒక అవసరాన్ని జోడించాను. ఒక బయాస్ ఉందని నిరూపించడానికి సిస్టమ్ కథలోని నిర్దిష్ట భాగాలను ఉదహరించాల్సి ఉంటుంది.
దీనివల్ల సమస్య పరిష్కారం అవుతుందని నేను అనుకున్నాను. కానీ అది కాలేదు.
ఫాలో-అప్ ప్రశ్నలకు నేను "no info" అని సమాధానం ఇచ్చినప్పుడు, సిస్టమ్ నన్ను Cherry-Picking చేసినట్లుగా గుర్తించింది. ఊహించి చెప్పడానికి నిరాకరించడం అనేది డేటాను కావాలనే వదిలేయాలనే నిర్ణయమని అది వాదించింది.
సాంకేతికంగా సిస్టమ్ చెప్పింది నిజమే. నేను నాలుగుసార్లు "no info" అని చెప్పాను. అది నా మాటలను యథాతథంగా ఉదహరించింది. కానీ ఆ ముగింపు తప్పు. సమాచారం లేకపోవడాన్ని అది ఒక రీజనింగ్ ఎర్రర్గా (reasoning error) మార్చేసింది.
గ్రౌండింగ్ (Grounding) వల్ల ఉదహరణలు నిజాయితీగా ఉన్నాయి కానీ, ముగింపులు సరైనవి కాలేదు.
నేను వెర్షన్ 1.1.0ను విడుదల చేశాను. నేను మూడు కొత్త తనిఖీలను జోడించాను:
- ప్రారంభంలో ఒక సఫిషియెన్సీ చెక్ (sufficiency check).
- ఎవిడెన్స్-ఎక్స్క్లూజన్ రూల్ (evidence-exclusion rule).
- కాన్ఫిడెన్స్ త్రెషోల్డ్ (confidence threshold).
ఫలితాలు మారాయి. అదే "no info" సమాధానాలతో, వెర్షన్ 1.1.0 ఎటువంటి బయాస్ను చూపలేదు. నా సమాధానాలు వివరణాత్మకంగా (descriptive) ఉన్నాయే తప్ప, విశ్లేషణాత్మకంగా (interpretive) లేవని అది గుర్తించింది.
ఈ రెండు వెర్షన్ల మధ్య తేడా సాక్ష్యాల్లో లేదు. "I don't know" అనే మాటను సిస్టమ్ ఎలా పరిగణిస్తుంది అనే దానిలోనే తేడా ఉంది.
ఒక వెర్షన్ "I don't know"ను బయాస్ యొక్క సంకేతంగా చూస్తుంది. మరొకటి దానిని ఒక సరైన సమాధానంగా చూస్తుంది. దీనిని ఎలా హ్యాండిల్ చేయాలో మీరు మోడల్కు చెప్పాలి. అది తనంతట తానుగా నిర్ణయించుకోదు.
దీనిని పరీక్షించడానికి నేను ఇప్పుడు మెట్రిక్స్ను రూపొందిస్తున్నాను. సిస్టమ్ నిజంగా మెరుగుపడిందా లేదా కేవలం ఈ నిర్దిష్ట కథను విస్మరించడం నేర్చుకుందా అనేది నేను తెలుసుకోవాలి.
నేను ఒక బయాస్ డిటెక్టర్ను నిర్మిస్తున్నానని అనుకున్నాను. కానీ దానికి బదులుగా, రీజనింగ్ సిస్టమ్స్ "I don't know" అనే మాటతో ఎందుకు ఇబ్బంది పడతాయో తెలుసుకున్నాను.
Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf
Optional learning community: https://t.me/GyaanSetuAi