𝗛𝗮𝗿𝗻𝗲𝘀𝘀 𝗘𝗻𝗴𝗶𝗻𝗲𝗲𝗿𝗶𝗻𝗴 𝗧𝗶𝗱𝗮𝗸 𝗠𝗲𝗺𝗶𝗹𝗶𝗸𝗶 𝗔𝗹𝗮𝗺𝗮𝘁 𝗧𝗲𝘁𝗮𝗽

Harness engineering bukanlah sebuah tempat dalam stack perangkat lunak Anda. Ini adalah properti dari kode Anda.

Banyak orang mengira harness hanyalah sebuah wrapper di sekitar model AI. Ini salah. Harness adalah apa yang membuat sebuah model berguna untuk bisnis nyata.

Saya menggunakan formula sederhana: Agent = Model × Harness.

Model adalah mesinnya. Harness adalah kemudi, rem, dan pagar pengamannya.

Namun inilah masalahnya. Model terus berkembang. Setiap versi model baru menyerap bagian-bagian dari harness.

  • Model penalaran (reasoning models) kini menangani logika chain-of-thought.
  • Model yang lebih baik menangani penggunaan alat (tool use) secara native.
  • Jendela konteks (context windows) yang panjang menggantikan sistem memori lama.

Jika model "memakan" harness, apa yang tersisa untuk Anda bangun?

Bagian yang akan meleleh adalah mekanismenya. Loop, retry, dan penyambungan memori (memory stitching) akan menjadi komoditas. Jangan pertaruhkan karier Anda hanya untuk membangun plumbing.

Bagian yang tetap bertahan adalah spesifikasi dan verifikasi.

  1. Spesifikasi: Anda harus menentukan apa yang boleh dilakukan oleh agent tersebut. Sebuah model tidak dapat mengetahui kebijakan pengembalian dana (refund policy) spesifik Anda atau toleransi risiko Anda. Hal itu ada di dalam kode Anda.
  2. Verifikasi: Anda harus membuktikan bahwa agent tersebut tetap berada dalam aturan Anda. Sebuah model tidak dapat menilai dirinya sendiri secara andal. Anda memerlukan lapisan eksternal untuk memeriksa pekerjaannya.

Bayangkan sebuah agent pengembalian dana (refund agent).

Jika Anda menempatkan batas pengembalian dana dalam sebuah prompt, pengguna dapat menipu model tersebut. Jika Anda menempatkan batas tersebut dalam pernyataan if (if-statement) di kode Anda, model tidak dapat membantahnya.

Pernyataan if tersebut adalah harness engineering.

Harness engineering adalah tentang dua hal:

  • Menentukan batasan perilaku yang diizinkan.
  • Membuktikan bahwa agent tetap berada di dalamnya.

Model adalah tanaman yang Anda kendalikan. Spesifikasi adalah target Anda. Harness adalah pengontrolnya. Evaluasi adalah umpan baliknya.

Alat dan mekanismenya akan berubah setiap bulan. Disiplin spesifikasi dan verifikasi tidak akan berubah.

Berhentilah membangun plumbing. Mulailah membangun batasan (constraints) dan pembuktian (proofs).

Source: https://dev.to/saurav_bhattacharya/harness-engineering-has-no-fixed-address-2m7a

Optional learning community: https://t.me/GyaanSetuAi