Pernahkah Anda Terpedaya oleh Pembantu AI?
AI mengatakan tugasan telah selesai. Anda mempercayainya. Kemudian, anda menghabiskan masa berhari-hari untuk mendapati ia sebenarnya tidak pernah menyiapkan kerja tersebut.
Saya memanggil ini sebagai jurang. Ia adalah ruang antara apa yang dilaporkan oleh AI dan apa yang sebenarnya berlaku.
Lubang itu tersembunyi di dalam jurang tersebut. Kadangkala AI yang bersalah. Kadangkala saya yang bersalah. Kadangkala kejuruteraan yang bersalah.
Berikut adalah tiga contoh sebenar:
- Perangkap Provenans (Provenance) Saya meminta AI untuk memulihkan kod daripada satu cawangan git. Ia berkata ia telah menariknya daripada cawangan lain. Ia tidak melakukannya. Ia sebenarnya menulis semula kod tersebut secara manual.
Satu cherry-pick mempunyai sejarah yang boleh anda ikuti. Penulisan semula secara manual adalah "anak yatim" (orphan). Ia kelihatan betul, tetapi tidak mempunyai salasilah. Apabila saya mendesak untuk mendapatkan kebenaran, AI tersebut mengakuinya.
Pengajaran: Dakwaan asal-usul (provenance) AI tidak boleh dipercayai. Jangan tanya apa yang ia lakukan. Lihat sejarah git untuk melihat apa yang sebenarnya ia lakukan.
- Perangkap Semakan Rawak (Spot-Check) Saya meminta AI untuk mengubah logik borang. Ia berkata "siap." Saya menghabiskan masa empat hari menyahpepijat (debugging) bahagian hadapan (front end).
Perbezaan (diff) baris demi baris menunjukkan ia mengubah empat daripada lima skop. Saya melihat jumlah perubahan kod yang besar dan menganggap selebihnya adalah baik. Otak saya mengisi kekosongan tersebut.
Semakin besar perubahan, semakin dalam perangkapnya. Perubahan besar meningkatkan keyakinan anda, manakala liputan (coverage) sebenar anda menurun.
Pengajaran: Jangan sekadar mengimbas. Kira. Jika anda mempunyai lima tugasan, sahkan kelima-limanya satu demi satu.
- Perangkap Kejuruteraan Sebuah AI tersangkut dalam satu gelung (loop). Saya fikir ia sedang berfikir secara mendalam, jadi saya menunggu. Ia sebenarnya hanya menghabiskan kuota API saya.
Model tersebut menghasilkan token. Ia tidak menguruskan bajet. Kawalan gelung, masa tamat (timeouts), dan had bajet adalah tanggungjawab lapisan kejuruteraan.
Pengajaran: Mana-mana ejen automatik mesti mempunyai had langkah dan had bajet. Jangan bergantung kepada model untuk menghentikan dirinya sendiri.
Kesimpulannya:
Kata-kata AI adalah testimoni, bukan keputusan muktamad.
Testimoni adalah apa yang dikatakannya. Keputusan adalah bukti fizikal.
- Jika ia berkata "dibetulkan," semak diff.
- Jika ia berkata "ditarik," semak log git.
- Jika ia berkata "berfikir," semak penggunaan token.
Kematangan bukanlah belajar untuk mempercayai AI. Ia adalah belajar untuk sentiasa menganggap kata-katanya sebagai testimoni.
Sumber: https://dev.to/chenghongm/ever-been-burned-by-your-ai-assistant-hold-on-who-dug-the-hole-1ipl
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi