𝗧𝘂𝗮𝘀 𝗠𝗲𝗺𝗯𝘂𝘁𝘂𝗵𝗸𝗮𝗻 𝗛𝗮𝗿𝗻𝗲𝘀𝘀
AI itu cepat. Ia menulis kode dengan kecepatan yang tidak dapat ditandingi manusia. Namun, kecepatan adalah risiko jika Anda kurang kendali.
Baru-baru ini saya harus membangun kembali sistem perdagangan yang kompleks. Saya perlu mendukung dua puluh ribu sinyal di berbagai instrumen ekuitas, forex, dan kripto. Setiap sinyal memiliki cakupan pasar tersendiri. Ini bukan masalah model. Ini adalah masalah harness.
Saya menggunakan AI untuk merancang rencana berisi tiga puluh tiket yang diatur ke dalam enam gelombang. Saya tidak mempercayakan seluruh pekerjaan pada satu sesi saja. Sebaliknya, saya menggunakan dua sesi AI yang terpisah:
• The Builder: Satu sesi merancang kode dan rencananya. • The Auditor: Sesi kedua memeriksa desain sebelum kode apa pun ditulis.
Audit pertama lolos. Saya merasa berhasil. Kemudian saya menggunakan AI ketiga untuk mengaudit seluruh desain dari awal. Ia menemukan empat belas kontradiksi dengan tingkat keparahan tinggi.
Desainnya terlihat bagus di permukaan. Memiliki struktur dan judul. Namun, desain tersebut kurang substansi. Satu tiket merujuk pada kolom yang sudah diubah namanya oleh tiket lain. Tiket lain mengharapkan sebuah field bersifat opsional, padahal desain menetapkannya sebagai wajib. Ini bukan bug pengodean. Ini adalah kontradiksi logis dalam desain.
Jika saya sudah mulai menulis kode, sistem tersebut pasti akan gagal.
Hal ini mengajarkan saya tiga hal tentang bekerja dengan AI:
- AI dilatih untuk menyelesaikan percakapan, bukan selalu tugas. Ia ingin memberi Anda jawaban yang memuaskan, bukan selalu jawaban yang benar.
- AI memiliki jendela konteks (context window) yang terbatas. Jika sebuah batasan berada di luar jendela tersebut, model akan mengisi celah tersebut dengan sesuatu yang terdengar masuk akal. Sesuatu yang masuk akal sering kali salah.
- Model adalah komoditas. Produk yang sebenarnya adalah harness yang Anda bangun di sekitarnya.
Harness adalah proses yang Anda bungkus di sekitar model tersebut. Ini mencakup:
- Design alignment: Memastikan model dan Anda melihat masalah yang sama.
- Multi-session auditing: Menggunakan konteks terpisah untuk memeriksa pekerjaan.
- Hardened testing: Menggunakan skrip yang tidak peduli seberapa yakin suara AI tersebut.
Model adalah tuasnya. Harness adalah apa yang menjaga tuas tersebut agar tidak merusak sistem Anda. Jangan hanya membeli model. Bangunlah sebuah kokpit.
Sumber: https://dev.to/whetlan/the-lever-needs-a-harness-14e9
Komunitas belajar opsional: https://t.me/GyaanSetuAi