𝗣𝗲𝗻𝗴𝗲𝘀𝗮𝗻 𝗕𝗶𝗮𝘀 𝗦𝗮𝘆𝗮 𝗠𝗲𝗻𝗲𝗺𝘂𝗶 𝗖𝗵𝗲𝗿𝗿𝘆-𝗣𝗶𝗰𝗸𝗶𝗻𝗴 𝗱𝗮𝗹𝗮𝗺 "𝗡𝗼 𝗜𝗻𝗳𝗼"

Saya membina sebuah projek bernama Biassemble.

Matlamatnya mudah. Anda berikan ia sebuah cerita. Ia akan bertanya soalan. Ia akan menandakan bias kognitif dalam cara anda menaakul.

Saya mengujinya dengan sebuah cerita tentang seorang wanita bernama Anna. Ceritanya hanya mengandungi fakta. Dia minum kopi. Dia menaiki bas. Dia berjalan ke pejabatnya. Tiada pendapat atau emosi dalam teks tersebut.

Prompt pertama saya mempunyai satu peraturan: Kesan sekurang-kurangnya satu bias daripada senarai.

Peraturan ini memaksa sistem untuk mencari sesuatu. Walaupun tiada apa-apa yang wujud, sistem cuba mencipta satu bias.

Saya mengemas kini prompt tersebut ke versi 1.0.0. Saya menambah keperluan untuk bukti. Sistem perlu memetik bahagian tertentu dalam cerita untuk membuktikan kewujudan bias.

Saya fikir ini akan menyelesaikan masalah tersebut. Namun, ia tidak berjaya.

Apabila saya menjawab "no info" kepada soalan susulan, sistem menandakan saya melakukan Cherry-Picking. Ia berhujah bahawa keengganan saya untuk membuat spekulasi adalah satu pilihan sengaja untuk menggugurkan data.

Secara teknikal, sistem itu betul. Saya memang menyebut "no info" sebanyak empat kali. Ia memetik kata-kata tepat saya. Tetapi kesimpulannya salah. Ia mengubah kekurangan maklumat menjadi satu ralat penaakulan.

Grounding menjadikan petikan itu jujur. Ia tidak menjadikan kesimpulannya betul.

Saya melancarkan versi 1.1.0. Saya menambah tiga semakan baharu:

Keputusannya berubah. Dengan jawapan "no info" yang sama, versi 1.1.0 melaporkan tiada bias. Ia menyedari bahawa jawapan saya bersifat deskriptif dan bukannya interpretatif.

Perbezaan antara kedua-dua versi tersebut bukanlah pada bukti. Perbezaannya adalah bagaimana sistem melayan "I don't know."

Satu versi melihat "I don't know" sebagai tanda bias. Versi yang satu lagi melihatnya sebagai jawapan yang sah. Anda mesti memberitahu model cara untuk mengendalikannya. Ia tidak akan membuat keputusan sendiri.

Saya kini sedang membina metrik untuk menguji perkara ini. Saya perlu tahu sama ada sistem tersebut benar-benar bertambah baik atau sekadar belajar untuk mengabaikan cerita khusus ini.

Saya fikir saya sedang membina pengesan bias. Sebaliknya, saya belajar mengapa sistem penaakulan sukar mengendalikan "I don't know."

Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf

Optional learning community: https://t.me/GyaanSetuAi