𝗗𝗲𝘁𝗲𝗸𝘁𝗼𝗿 𝗔𝗜 𝗛𝗮𝗻𝘆𝗮 𝗠𝗲𝗻𝗲𝗯𝗮𝗸

Detektor AI sering kali menandai tulisan manusia sebagai buatan mesin. Banyak perusahaan menggunakan alat ini untuk perekrutan atau penilaian. Mereka menganggap skor tersebut sebagai fakta. Padahal, itu bukan fakta.

Alat-alat ini tidak membaca teks Anda untuk memahami maknanya. Mereka menggunakan matematika untuk menebak probabilitas hasil keluaran mesin.

Mereka melihat tiga hal utama:

  • Perplexity: Ini mengukur seberapa mudah kata-kata Anda ditebak. AI memilih kata berikutnya yang paling mungkin. Tulisan manusia sering kali tidak terduga. Perplexity yang rendah terlihat seperti AI.
  • Burstiness: Ini mengukur variasi kalimat. Manusia mencampur kalimat pendek dan panjang. AI sering kali menggunakan ritme yang stabil. Variasi yang rendah terlihat seperti AI.
  • Classifiers: Model-model ini mempelajari sampel tulisan manusia dan mesin. Mereka menebak berdasarkan pola. Jika model melihat gaya penulisan baru, ia akan gagal.

Watermarking adalah metode lain. Metode ini menyembunyikan pola dalam pilihan kata. Metode ini gagal jika seseorang menyunting atau memparafrase teks tersebut.

Alat-alat ini memiliki kelemahan serius:

  • Tulisan yang bagus terlihat seperti AI. Prosa yang jelas, sederhana, dan terstruktur memiliki perplexity yang rendah. Semakin baik Anda menulis, semakin terlihat robotik bagi alat tersebut.
  • Bias terhadap penutur non-asli. Sebuah studi dari Stanford menemukan bahwa detektor lebih sering menandai penutur bahasa Inggris non-asli. Penggunaan frasa yang sederhana terlihat seperti hasil mesin bagi alat-alat ini.
  • Mudah dikelabui. Beberapa sinonim atau penyuntingan ringan dapat mengelabui detektor. Hal ini menghukum penulis yang jujur sementara membiarkan pengguna AI dengan upaya rendah lolos.

Bahkan OpenAI berhenti menggunakan detektor buatannya sendiri pada tahun 2023 karena tidak akurat. Jika penciptanya sendiri tidak dapat mendeteksi AI mereka, jangan percaya pada alat pihak ketiga yang mengklaim akurasi tinggi.

Cara menggunakan skor ini dengan aman:

  • Jangan bertindak hanya berdasarkan satu skor. Tuduhan palsu dapat menyebabkan kerugian nyata bagi siswa atau pencari kerja.
  • Periksa prosesnya. Lihat riwayat pengeditan dan draf, alih-alih hanya melihat skor probabilitas.
  • Tunjukkan ketidakpastian. Jika Anda menggunakan alat-alat ini, tunjukkan rentang tingkat kepercayaan alih-alih label biner manusia atau AI.

Detektor AI adalah pencocok pola. Mereka berguna sebagai petunjuk, tetapi berbahaya jika dijadikan bukti.

Sumber: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl

Komunitas belajar opsional: https://t.me/GyaanSetuAi