Kami Berhenti Mempercayai Model. Kemudian Kami Berhenti Mempercayai Angka Kami Sendiri.
Saya berhenti mengejar model AI yang lebih baik. Saya fikir model yang lebih kuat akan membaiki sistem saya. Ia tidak berkesan. Masalahnya bukan pada model tersebut. Masalahnya adalah pada sistem itu sendiri.
Kemudian saya menyedari sesuatu yang lebih buruk. Saya juga tidak dapat mempercayai ukuran saya sendiri.
Saya melihat tiga kegagalan yang berbeza:
- Set ujian yang lulus tetapi mengukur persekitaran yang salah.
- Pintu kawalan (gate) yang menyekat kerja tetapi memberikan statistik yang salah.
- Ejen yang melaporkan jumlah yang salah.
Setiap kegagalan kelihatan seperti kejayaan sehinggalah saya menelitinya dengan lebih dekat. Alat pengesahan saya telah menipu saya.
Naluri pertama saya adalah untuk mengharamkan semua ketidakpastian. Saya mahu menghapuskan setiap elemen kebarangkalian. Saya mahu segalanya bersifat deterministik.
Itu adalah satu kesilapan.
Jika anda menghapuskan semua ketidakpastian, anda menghapuskan nilai AI tersebut. AI bertujuan untuk mencadangkan idea dan meneroka penyelesaian. Anda tidak boleh mendapatkannya daripada peraturan yang kaku.
Penyelesaiannya bukanlah dengan mengharamkan ketidakpastian. Penyelesaiannya adalah dengan meletakkannya di tempat yang betul.
Sebuah sistem memerlukan dua peranan (seat) yang berbeza:
Peranan Mencadangkan (The Proposing Seat) Peranan ini meneroka dan mencadangkan. Ia memerlukan sifat bukan deterministik (nondeterminism). Jika model mencadangkan penyelesaian yang salah, kosnya adalah rendah kerana ia belum membuat sebarang keputusan lagi.
Peranan Menilai (The Judging Seat) Peranan ini memutuskan sama ada sesuatu ujian lulus atau jika sesuatu peraturan dipatuhi. Peranan ini mestilah bersifat deterministik. Ia mestilah boleh dihasilkan semula (reproducible) dan boleh disemak.
Kegagalan dalam sistem saya berlaku kerana saya meletakkan perkara yang salah dalam peranan menilai. Saya membiarkan proses yang tidak pasti membuat keputusan muktamad.
Peraturannya mudah:
- Biarkan bahagian yang tidak pasti meneroka.
- Biarkan bahagian deterministik menilai.
Jangan cuba menjadikan keseluruhan sistem itu pasti. Sebaliknya, pastikan penilai anda adalah kukuh. Penilai deterministik yang salah adalah lebih berbahaya daripada penilai kebarangkalian. Penilai yang salah mencipta ralat yang berterusan yang akhirnya membuatkan anda berhenti mempersoalkannya.
Setiap lapisan yang memberikan anda kepercayaan mesti diukur terlebih dahulu. Pengukuran tersebut harus bergantung kepada sesuatu yang deterministik yang boleh anda saksikan.
Bagaimanakah anda menetapkan garis pemisah antara mencadangkan dan menilai dalam sistem AI anda? Di manakah anda menegaskan keperluan determinisme?
Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
Optional learning community: https://t.me/GyaanSetuAi