𝗠𝘆 𝗕𝗶𝗮𝘀 𝗗𝗲𝘁𝗲𝗰𝘁𝗼𝗿 𝗙𝗼𝘂𝗻𝗱 𝗖𝗵𝗲𝗿𝗿𝘆-𝗣𝗶𝗰𝗸𝗶𝗻𝗴 𝗶𝗻 "𝗡𝗼 𝗜𝗻𝗳𝗼"
मैंने Biassemble नामक एक प्रोजेक्ट बनाया।
इसका लक्ष्य सरल है। आप इसमें एक कहानी डालते हैं। यह सवाल पूछता है। यह आपके तर्क करने के तरीके में संज्ञानात्मक पूर्वाग्रहों (cognitive biases) को चिन्हित करता है।
मैंने इसका परीक्षण अन्ना नाम की एक महिला की कहानी के साथ किया। उसकी कहानी में केवल तथ्य थे। उसने कॉफी पी। उसने बस पकड़ी। वह अपने ऑफिस तक पैदल गई। टेक्स्ट में कोई राय या भावनाएं नहीं थीं।
मेरे पहले प्रॉम्प्ट में एक नियम था: एक सूची से कम से कम एक बायस (bias) का पता लगाएं।
इस नियम ने सिस्टम को कुछ न कुछ खोजने के लिए मजबूर कर दिया। जब कुछ भी मौजूद नहीं था, तब भी सिस्टम ने एक बायस गढ़ने की कोशिश की।
मैंने प्रॉम्प्ट को वर्ज़न 1.0.0 में अपडेट किया। मैंने साक्ष्य (evidence) की आवश्यकता जोड़ दी। बायस के अस्तित्व को साबित करने के लिए सिस्टम को कहानी के विशिष्ट हिस्सों का हवाला देना था।
मुझे लगा कि इससे समस्या हल हो गई। लेकिन ऐसा नहीं हुआ।
जब मैंने फॉलो-अप सवालों के जवाब में "no info" कहा, तो सिस्टम ने मुझे Cherry-Picking के लिए फ्लैग कर दिया। उसने तर्क दिया कि मेरा अनुमान लगाने से इनकार करना डेटा को छोड़ने का एक जानबूझकर किया गया चुनाव था।
तकनीकी रूप से सिस्टम सही था। मैंने वास्तव में चार बार "no info" कहा था। उसने मेरे सटीक शब्दों का हवाला दिया। लेकिन निष्कर्ष गलत था। उसने जानकारी की कमी को तर्क की त्रुटि (reasoning error) में बदल दिया।
Grounding ने साइटेशन को ईमानदार बना दिया। इसने निष्कर्षों को सही नहीं बनाया।
मैंने वर्ज़न 1.1.0 जारी किया। मैंने तीन नए चेक जोड़े:
- शुरुआत में एक पर्याप्तता जांच (sufficiency check)।
- एक साक्ष्य-अपवर्जन नियम (evidence-exclusion rule)।
- एक कॉन्फिडेंस थ्रेशोल्ड (confidence threshold)।
परिणाम बदल गए। वही "no info" उत्तर देने पर भी, वर्ज़न 1.1.0 ने किसी बायस की सूचना नहीं दी। इसने पहचान लिया कि मेरे उत्तर व्याख्यात्मक (interpretive) के बजाय वर्णनात्मक (descriptive) थे।
दोनों वर्ज़न के बीच का अंतर साक्ष्य नहीं है। अंतर यह है कि सिस्टम "I don't know" के साथ कैसा व्यवहार करता है।
एक वर्ज़न "I don't know" को बायस के संकेत के रूप में देखता है। दूसरा इसे एक वैध उत्तर के रूप में देखता है। आपको मॉडल को बताना होगा कि इसे कैसे संभालना है। वह अपने आप निर्णय नहीं लेगा।
मैं अब इसका परीक्षण करने के लिए मेट्रिक्स बना रहा हूँ। मुझे यह जानने की जरूरत है कि क्या सिस्टम वास्तव में बेहतर हुआ है या इसने केवल इस विशिष्ट कहानी को अनदेखा करना सीख लिया है।
मुझे लगा कि मैं एक बायस डिटेक्टर बना रहा हूँ। इसके बजाय, मैंने सीखा कि रीजनिंग सिस्टम "I don't know" के साथ संघर्ष क्यों करते हैं।
Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf
Optional learning community: https://t.me/GyaanSetuAi