𝗠𝘆 𝗕𝗶𝗮𝘀 𝗗𝗲𝘁𝗲𝗰𝘁𝗼𝗿 𝗙𝗼𝘂𝗻𝗱 𝗖𝗵𝗲𝗿𝗿𝘆-𝗣𝗶𝗰𝗸𝗶𝗻𝗴 𝗶𝗻 "𝗡𝗼 𝗜𝗻𝗳𝗼" เครื่องตรวจจับอคติของฉันตรวจพบการเลือกใช้ข้อมูลเพียงบางส่วน (Cherry-Picking) ในคำตอบว่า "No Info"

ฉันได้สร้างโปรเจกต์ที่ชื่อว่า Biassemble

เป้าหมายนั้นเรียบง่าย เพียงแค่คุณป้อนเรื่องราวลงไป ระบบจะตั้งคำถาม และระบุอคติทางความคิด (cognitive biases) ในวิธีการใช้เหตุผลของคุณ

ฉันทดสอบมันด้วยเรื่องราวเกี่ยวกับผู้หญิงคนหนึ่งชื่อ Anna เรื่องราวของเธอมีเพียงข้อเท็จจริงเท่านั้น เธอ ดื่มกาแฟ เธอ ขึ้นรถเมล์ เธอ เดินไปที่ออฟฟิศ ในข้อความไม่มีความคิดเห็นหรืออารมณ์ใดๆ เลย

Prompt แรกของฉันมีกฎเพียงข้อเดียวคือ: ให้ตรวจจับอคติอย่างน้อยหนึ่งอย่างจากรายการที่กำหนดไว้

กฎนี้บีบให้ระบบต้องหาอะไรบางอย่างมาให้ได้ แม้ว่าในความเป็นจริงจะไม่มีอคติใดๆ เลย แต่ระบบก็พยายามจะสร้างอคติขึ้นมาเอง

ฉันจึงอัปเดต prompt เป็นเวอร์ชัน 1.0.0 โดยเพิ่มข้อกำหนดเรื่องหลักฐานเข้าไป ระบบจะต้องอ้างอิงส่วนเฉพาะเจาะจงของเรื่องราวเพื่อพิสูจน์ว่ามีอคติเกิดขึ้นจริง

ฉันคิดว่าวิธีนี้จะแก้ปัญหาได้ แต่มันไม่ใช่เลย

เมื่อฉันตอบว่า "no info" ต่อคำถามที่ถามย้ำ ระบบกลับระบุว่าฉันกำลังทำ Cherry-Picking โดยมันแย้งว่าการที่ฉันปฏิเสธที่จะคาดเดานั้น เป็นความตั้งใจที่จะละเว้นข้อมูลบางอย่างออกไป

ในทางเทคนิคแล้วระบบพูดถูก ฉันตอบว่า "no info" ไปสี่ครั้งจริงๆ และมันก็อ้างอิงคำพูดของฉันได้ถูกต้อง แต่ข้อสรุปนั้นผิด เพราะมันเปลี่ยนการขาดข้อมูลให้กลายเป็นความผิดพลาดในการใช้เหตุผล

การทำ Grounding ช่วยให้การอ้างอิงมีความซื่อตรง แต่มันไม่ได้ทำให้ข้อสรุปถูกต้องเสมอไป

ฉันจึงปล่อยเวอร์ชัน 1.1.0 ออกมา โดยเพิ่มการตรวจสอบใหม่ 3 อย่าง:

ผลลัพธ์เปลี่ยนไป เมื่อใช้คำตอบ "no info" แบบเดิม เวอร์ชัน 1.1.0 กลับรายงานว่าไม่มีอคติ เพราะมันรับรู้ว่าคำตอบของฉันเป็นการอธิบายข้อเท็จจริง (descriptive) มากกว่าการตีความ (interpretive)

ความแตกต่างระหว่างทั้งสองเวอร์ชันไม่ใช่เรื่องของหลักฐาน แต่คือวิธีที่ระบบจัดการกับคำว่า "I don't know"

เวอร์ชันหนึ่งมองว่า "I don't know" คือสัญญาณของอคติ แต่อีกเวอร์ชันมองว่าเป็นคำตอบที่สมเหตุสมผล คุณต้องบอกโมเดลว่าควรจัดการกับเรื่องนี้อย่างไร เพราะมันจะไม่ตัดสินใจด้วยตัวเอง

ตอนนี้ฉันกำลังสร้างตัวชี้วัด (metrics) เพื่อทดสอบเรื่องนี้ ฉันจำเป็นต้องรู้ว่าระบบพัฒนาขึ้นจริงๆ หรือแค่เรียนรู้ที่จะเพิกเฉยต่อเรื่องราวเฉพาะกรณีนี้เท่านั้น

ฉันคิดว่าฉันกำลังสร้างเครื่องตรวจจับอคติ แต่กลายเป็นว่าฉันได้เรียนรู้ว่าทำไมระบบการใช้เหตุผลถึงมีปัญหากับคำว่า "I don't know"

Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf

Optional learning community: https://t.me/GyaanSetuAi