𝗧𝘂𝗮𝘀 𝗠𝗲𝗺𝗲𝗿𝗹𝘂𝗸𝗮𝗻 𝗦𝗶𝘀𝘁𝗲𝗺 𝗞𝗮𝘄𝗮𝗹𝗮𝗻
AI sangat pantas. Ia menulis kod pada kelajuan yang tidak dapat ditandingi oleh mana-mana manusia. Namun, kepantasan adalah satu risiko jika anda kekurangan kawalan.
Baru-baru ini, saya perlu membina semula satu sistem perdagangan yang kompleks. Saya perlu menyokong dua puluh ribu isyarat merentasi ekuiti, forex, dan kripto. Setiap isyarat mempunyai skop pasaran tersendiri. Ini bukan masalah model. Ini adalah masalah sistem kawalan (harness).
Saya menggunakan AI untuk merangka pelan sebanyak tiga puluh tiket yang disusun dalam enam gelombang. Saya tidak mempercayai satu sesi sahaja untuk melakukan kerja tersebut. Sebaliknya, saya menggunakan dua sesi AI yang berbeza:
• Pembina (The Builder): Satu sesi merangka kod dan pelan tersebut. • Juruaudit (The Auditor): Sesi kedua menyemak reka bentuk sebelum sebarang kod ditulis.
Audit pertama lulus. Saya berasa berjaya. Kemudian, saya menggunakan AI ketiga untuk mengaudit keseluruhan reka bentuk dari awal. Ia menemui empat belas percanggahan tahap tinggi.
Reka bentuk tersebut kelihatan baik pada zahirnya. Ia mempunyai struktur dan tajuk. Namun, ia kurang isi. Satu tiket merujuk kepada lajur yang telah ditukar namanya oleh tiket lain. Satu lagi tiket menjangkakan sesuatu medan sebagai pilihan (optional) sedangkan reka bentuk menetapkannya sebagai wajib (required). Ini bukan pepijat pengekodan. Ia adalah percanggahan logik dalam reka bentuk.
Jika saya sudah mula mengekod, sistem tersebut pasti akan gagal.
Ini mengajar saya tiga perkara tentang bekerja dengan AI:
- AI dilatih untuk melengkapkan perbualan, bukan semestinya tugasan. Ia mahu memberikan jawapan yang memuaskan, bukan semestinya jawapan yang betul.
- AI mempunyai tetingkap konteks (context window) yang terhad. Jika sesuatu kekangan berada di luar tetingkap tersebut, model akan mengisi jurang itu dengan sesuatu yang munasabah. Sesuatu yang munasabah selalunya salah.
- Model adalah komoditi. Produk sebenar adalah sistem kawalan (harness) yang anda bina di sekelilingnya.
Sistem kawalan (harness) adalah proses yang anda bungkus di sekeliling model tersebut. Ia merangkumi:
- Penyelarasan reka bentuk: Memastikan model dan anda melihat masalah yang sama.
- Pengauditan pelbagai sesi: Menggunakan konteks berbeza untuk menyemak kerja.
- Pengujian teguh (hardened testing): Menggunakan skrip yang tidak peduli tentang betapa yakinnya bunyi AI tersebut.
Model adalah tuas. Sistem kawalan adalah apa yang menghalang tuas tersebut daripada merosakkan sistem anda. Jangan sekadar membeli model. Bina sebuah kokpit.
Sumber: https://dev.to/whetlan/the-lever-needs-a-harness-14e9
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi