Krisis Kebolehpercayaan Pengesanan AI: Sesetengah Alatan Berjaya, Yang Lain Gagal Sepenuhnya

Satu kajian terbaharu oleh Authors Guild telah mendedahkan jurang perbezaan yang besar dalam kebolehpercayaan pengesan penulisan AI, menunjukkan bahawa walaupun sesetengah alatan sangat tepat, yang lain mempunyai kecacatan yang mendasar. Ketidaktentuan ini mendatangkan ancaman besar kepada penulis profesional yang mata pencarian mereka bergantung kepada pembuktian bahawa hasil kerja mereka adalah buatan manusia.

Jurang Prestasi: Daripada Kesempurnaan kepada Kegagalan Mutlak

Authors Guild telah menjalankan ujian yang ketat menggunakan sepuluh artikel yang diterbitkan antara tahun 2020 dan 2022—tahun-tahun sebelum AI generatif menjadi fenomena arus perdana. Dengan menggunakan teks manusia "pra-AI", kajian tersebut menyediakan garis dasar yang bersih untuk mengukur kadar positif palsu.

Keputusannya adalah sangat berbeza. Pangram dan Grammarly muncul sebagai yang paling boleh dipercayai, dengan mengenal pasti setiap teks yang ditulis oleh manusia sebagai buatan manusia dengan tepat (skor AI 0.0%). Originality.ai juga menunjukkan prestasi yang kukuh, mengekalkan ketepatan yang tinggi secara keseluruhan.

Sebaliknya, Sidekicker.ai gagal dengan teruk. Setiap artikel manusia dalam ujian tersebut telah ditandakan sebagai "sebahagian besarnya dijana oleh AI," dengan dua artikel khusus menerima skor AI 100%. ZeroGPT juga terbukti tidak boleh dipercayai, kerap melaporkan peratusan AI yang tinggi bagi teks yang tidak dapat dinafikan adalah buatan manusia, seperti artikel "Erdrich Pulitzer Prize", yang ditandakannya dengan kebarangkalian AI sebanyak 76.3%.

Paradoks Penulisan Profesional

Kajian ini menonjolkan satu paradoks teknikal yang membimbangkan: semakin mahir seseorang penulis manusia, semakin besar kemungkinan mereka ditandakan oleh pengesan yang cacat. Penulisan profesional bergantung kepada kejelasan, kepadatan, dan ketepatan—corak statistik yang sama yang telah dilatih untuk ditiru oleh Model Bahasa Besar (LLM).

Oleh kerana model AI dilatih menggunakan prosa manusia yang berkualiti tinggi, "cap jari" ayat yang ditulis dengan mahir boleh kelihatan hampir serupa dengan ayat yang dijana oleh AI. Ini mewujudkan persekitaran berisiko tinggi di mana seorang penulis yang telah menghabiskan masa berdekad-dekad mengasah kemahiran mereka boleh kehilangan kontrak atau merosakkan reputasi mereka disebabkan oleh positif palsu daripada alatan seperti Sidekicker.

Masalah "Kotak Hitam" dan Masa Depan Pengesanan

Malah alatan yang berjaya sekalipun menghadapi kritikan mengenai ketelusan. CEO Pangram, Max Spero, menyatakan bahawa pengesannya pada dasarnya beroperasi sebagai "kotak hitam", bermakna ia tidak dapat memberikan penjelasan terperinci mengapa sesuatu teks tertentu ditandakan. Walaupun beliau berhujah bahawa manusia menulis dengan lebih banyak kepelbagaian dan struktur hujah berbanding keseragaman LLM, kekurangan kebolehtafsiran kekal menjadi penghalang kepada akauntabiliti.

Tambahan pula, kejayaan Pangram dan Grammarly dalam ujian ini membuktikan bahawa mereka mahir dalam mengelakkan positif palsu (tidak menandakan manusia). Ia tidak semestinya menjamin bahawa mereka sama berkesan dalam menangkap AI (mengenal pasti teks mesin).

Memandangkan industri sedang bergelut untuk membezakan antara "menggunakan AI untuk menulis" dan "menggunakan AI untuk berfikir," Authors Guild memberi amaran bahawa alatan pengesanan tidak seharusnya menjadi satu-satunya asas bagi keputusan profesional.

Ringkasan Utama

• Variasi Ketepatan yang Ekstrem: Walaupun Pangram dan Grammarly mencapai kadar positif palsu 0% dalam ujian tersebut, Sidekicker.ai menandakan 100% teks manusia sebagai dijana oleh AI.
• Penalti Profesional: Penulisan manusia yang berkualiti tinggi dan tepat berkongsi persamaan statistik dengan output AI, menjadikan penulis pakar terdedah kepada ralat pengesanan.
• Seruan untuk Pengawasan Manusia: Authors Guild menasihatkan penerbit agar menggunakan pengesan hanya sebagai alatan tambahan dan memberi peluang kepada penulis untuk mempertahankan hasil kerja mereka.