Masalah Kepercayaan dalam Enterprise AI
Sebagian besar perusahaan fokus pada hal yang salah saat berbicara tentang kepercayaan AI. Mereka bertanya apakah modelnya akurat. Mereka bertanya apakah model tersebut berhalusinasi.
Pertanyaan-pertanyaan ini meleset dari poin utamanya.
Alasan perusahaan meninggalkan AI bukanlah modelnya. Melainkan kurangnya kepercayaan pada sistem di sekitar model tersebut. Untuk berhasil dalam tahap produksi, Anda memerlukan kontrol operasional.
Anda harus menjawab empat pertanyaan:
- Bisakah Anda menjelaskan outputnya? Jika sebuah tim tidak dapat menjelaskan mengapa AI menghasilkan hasil tertentu, mereka hanya bekerja berdasarkan harapan. Harapan akan gagal saat insiden pertama terjadi.
- Bisakah Anda memvalidasi keputusan? Anda memerlukan cara untuk memeriksa output AI terhadap persyaratan bisnis yang sebenarnya.
- Bisakah Anda melakukan intervensi? Anda memerlukan tombol penghenti (kill switch) atau jalur cadangan (fallback path). Jika Anda tidak memiliki cara untuk menghentikan AI, Anda akan mempelajari pelajaran tersebut saat krisis terjadi.
- Bisakah Anda melacak hasilnya? Jika sebuah keputusan menyebabkan hasil yang buruk, Anda harus merekonstruksi rantainya. Anda perlu mengetahui input, output, dan konteksnya.
Ketidakterbukaan berhasil dalam demo. Ia gagal dalam produksi.
Lingkungan produksi yang nyata memiliki auditor, regulator, dan insinyur. Orang-orang ini perlu tahu mengapa sesuatu terjadi. Mereka tidak bisa menerima jawaban "AI yang melakukannya".
Sistem yang tidak transparan memperbesar ketidakpastian. Ketidakpastian membunuh adopsi.
Tim yang mempertahankan AI dalam jangka panjang melakukan empat hal ini:
- Mereka membuat output dapat dijelaskan (explainable). Seseorang dalam tim selalu dapat menjawab mengapa sistem bertindak demikian.
- Mereka membuat keputusan dapat diperiksa. Sebuah lapisan validasi berada di antara AI dan tindakan akhir.
- Mereka memungkinkan adanya intervensi. Jalur pengambilalihan (override path) tersedia dan berfungsi.
- Mereka membangun kemampuan pelacakan (traceability). Log memungkinkan Anda untuk merekonstruksi setiap kejadian.
Akses ke model bukan lagi tantangannya. Tantangannya adalah menjaga kejelasan operasional saat AI memasuki alur kerja Anda.
Organisasi mengadopsi AI lebih cepat ketika sistemnya transparan dan dapat dilacak. Memercayai model saja tidak cukup. Anda harus memercayai seluruh sistem.
Bagaimana tim Anda menangani kepercayaan AI? Apakah hal itu sudah dibangun ke dalam desain Anda atau Anda menunggu sesuatu rusak?