Peneliti MIT menunjukkan bahwa alat eksplanabilitas AI meningkatkan akurasi diagnostik bagi pengguna awam tetapi menghambat klinisi berpengalaman, sehingga mengancam keselamatan pasien dan kredibilitas penerapan AI kesehatan. Mereka menguji pengklasifikasi penyakit kulit pada partisipan dengan latar belakang medis yang berbeda dan menemukan perbedaan yang mencolok: non-ahli meningkatkan keputusan mereka, sementara dokter layanan primer sering merasakan “gesekan kognitif” (cognitive friction) ketika penalaran AI bertentangan dengan penalaran mereka sendiri.

Studi yang meruntuhkan asumsi “satu ukuran untuk semua”

Kecerdasan buatan kini telah hadir di banyak sistem informasi rumah sakit, namun sebagian besar vendor menyediakan satu antarmuka penjelasan yang sama untuk setiap pengguna. Tim MIT meminta partisipan untuk mendiagnosis lesi kulit, pertama secara mandiri dan kemudian dengan model AI yang menyediakan peta panas (heatmap) visual dan alasan tekstual. Mereka membandingkan dua kelompok: orang dengan sedikit atau tanpa pelatihan medis dan klinisi layanan primer yang melakukan diagnosis setiap hari.

Hasilnya berbeda. Partisipan awam mengalami lonjakan akurasi setelah melihat output AI, tetapi sebagian besar peningkatan tersebut berasal dari sekadar mengikuti saran mesin—sebuah kasus klasik dari bias otomasi (automation bias). Namun, para klinisi tidak merasakan peningkatan yang konsisten. Ketika penjelasan AI terlalu sederhana atau tidak selaras dengan penalaran klinis, dokter melaporkan kebingungan, gangguan konsentrasi, dan dalam beberapa kasus, penurunan kepercayaan diri dalam diagnosis.

Apa arti “bias otomasi” bagi pemula

Bagi non-ahli, skor kepercayaan AI dan area yang disorot bertindak sebagai jalan pintas menuju jawaban yang benar. Studi tersebut menemukan bahwa pengguna ini memercayai model tersebut bahkan ketika penjelasannya memberikan sedikit wawasan tentang patologi yang mendasarinya. Bahayanya bersifat ganda: pasien menerima perawatan berdasarkan penilaian mesin alih-alih keterampilan klinisi yang sedang berkembang, dan pengguna kehilangan kesempatan untuk mempelajari petunjuk diagnostik yang ditandai oleh AI.

Para peneliti memperingatkan bahwa meskipun akurasi yang lebih tinggi adalah keuntungan jangka pendek, biaya jangka panjangnya bisa berupa generasi klinisi yang bergantung pada rekomendasi kotak hitam (black-box) tanpa memahami alasannya. Ketergantungan ini mengikis pemikiran kritis, sehingga mempersulit deteksi kesalahan model atau kasus langka di luar data pelatihan.

Mengapa klinisi berpengalaman menolak

Dokter membawa model mental penyakit yang mencakup riwayat pasien, epidemiologi, dan pola visual yang bernuansa. Ketika antarmuka AI hanya menawarkan ringkasan tingkat tinggi atau angka kepercayaan generik, hal itu bertabrakan dengan model tersebut. Eksperimen MIT menunjukkan bahwa klinisi sering kali membutuhkan data yang lebih granular—peta atribusi fitur, referensi literatur komparatif, atau distribusi probabilitas yang terperinci—untuk mengintegrasikan saran AI secara bermakna.

Ketika penjelasan tidak memadai, dokter melaporkan adanya “gesekan kognitif,” sebuah resistensi mental yang memperlambat pengambilan keputusan dan meningkatkan peluang kesalahan. Dalam layanan primer, gesekan tersebut diterjemahkan menjadi konsultasi yang lebih lama, pengurangan kapasitas layanan, dan potensi diagnosis yang terlewatkan.

Merancang AI yang mengenali audiensnya

Penulis berargumen untuk menerapkan “eksplanabilitas berbasis persona” (persona-based explainability), beralih dari dasbor statis ke antarmuka adaptif yang menyesuaikan kedalaman dan format berdasarkan keahlian pengguna. Implementasi praktis dapat melibatkan dua lapisan yang berbeda:

  • Lapisan orang awam: ringkasan singkat, skor kepercayaan, dan petunjuk visual sederhana (misalnya, heatmap) yang menenangkan pengguna tanpa membuat mereka kewalahan.
  • Lapisan profesional: heatmap terperinci, kontribusi fitur kuantitatif, tautan ke studi yang ditinjau sejawat (peer-reviewed), dan kemampuan untuk mendalami ketidakpastian model.

Pengembang perlu menyematkan mekanisme deteksi profil pengguna—mungkin melalui login sederhana dengan tag peran—atau membiarkan klinisi beralih di antara mode penjelasan. Tujuannya bukan untuk menyembunyikan kompleksitas dari dokter, melainkan untuk menyajikannya saat hal itu memberikan nilai tambah, sambil tetap menjaganya tetap minimal bagi mereka yang hanya membutuhkan panduan.

Argumen kontra dan hambatan praktis

Beberapa vendor AI mengklaim bahwa antarmuka yang seragam mengurangi biaya pelatihan dan kompleksitas regulasi. Format penjelasan tunggal lebih mudah untuk disertifikasi dan diterapkan di berbagai sistem kesehatan yang berbeda. Selain itu, klinisi sudah menghadapi kelelahan peringatan (alert fatigue); menambahkan lapisan informasi lain dapat dianggap sebagai gangguan (noise) tambahan.

Temuan MIT menunjukkan bahwa biaya dari pendekatan “satu ukuran untuk semua” mungkin lebih besar daripada efisiensi jangka pendek ini. Jika klinisi menolak atau menyalahgunakan alat AI karena penjelasannya terasa tidak relevan, adopsi akan terhenti, sehingga menyia-nyiakan investasi dalam pengembangan dan integrasi.

Apa yang perlu diperhatikan selanjutnya

Studi ini menunjukkan beberapa tindakan segera bagi para pemangku kepentingan AI-kesehatan:

  • Uji coba modul penjelasan adaptif pada alat diagnostik yang sudah ada dan ukur dampaknya terhadap alur kerja serta tingkat kesalahan.
  • Kumpulkan umpan balik berkelanjutan dari pengguna pemula (misalnya, mahasiswa kedokteran, staf tele-triase) dan klinisi berpengalaman untuk menyempurnakan logika persona.
  • Kembangkan standar untuk kemampuan penjelasan bertingkat yang dapat dimasukkan ke dalam pengajuan regulasi, guna memastikan penilaian keselamatan memperhitungkan risiko spesifik pengguna.
  • Edukasi pengguna mengenai bias otomasi, dengan menekankan bahwa AI adalah alat bantu keputusan, bukan pengganti penilaian klinis.

Kesimpulan

AI dapat meningkatkan performa diagnostik, tetapi hanya jika penjelasannya menggunakan bahasa yang dipahami oleh orang yang melihatnya. Mengabaikan kesenjangan keahlian akan memicu ketergantungan berlebih di kalangan pemula dan menciptakan hambatan bagi dokter, yang membahayakan hasil kesehatan pasien maupun kredibilitas AI-kesehatan. Antarmuka yang adaptif dan sadar persona bukan lagi sekadar fitur tambahan—itu adalah prasyarat untuk integrasi AI yang aman dan efektif dalam praktik klinis.