𝗕𝗿𝗲𝗮𝗸𝗶𝗻𝗴 𝗕𝘂𝗶𝗹𝗱: 𝗞𝗲𝗿𝗲𝗻𝗴𝗴𝗮𝗻𝗴𝗮𝗻 𝗔𝗻𝘁𝗮𝗿𝗮 𝗜𝗻𝘀𝘁𝗿𝘂𝗸𝘀𝗶 𝗱𝗮𝗻 𝗜𝗻𝘁𝗲𝗻𝘀𝗶

Agen AI melakukan tepat seperti apa yang saya minta. Mereka tidak melakukan apa yang saya inginkan.

Saya membangun dengan agen AI. Saya memberi arahan, dan mereka menghasilkan. Satu agen menulis infrastruktur. Agen lainnya mengauditnya. Saya menggabungkan kodenya. Ini cepat. Ini bagus. Namun, mode kegagalannya aneh.

Agen-agen tersebut tidak melakukan kesalahan. Mereka mengikuti instruksi dengan sempurna. Bug-nya terletak pada celah antara instruksi saya dan intensi saya. Agen tersebut mengisi celah itu dengan kebenaran literal.

Saya mengalami hal ini empat kali dalam satu minggu:

  • Deployment Hantu: Pipeline deployment saya mengatakan "success." Memang benar. Namun, ia melakukan deployment versi lama dari bulan Mei. Saya bertanya apakah ia sudah melakukan deployment. Sudah. Saya lupa bertanya apakah ia melakukan deployment kode yang sebenarnya saya tulis.
  • Tab Kosong: UI saya menampilkan tiga tab. Spesifikasinya membutuhkan tiga tab. Dua tab berujung pada jalan buntu karena saya tidak pernah menyelesaikannya. Agen tersebut membangun UI sesuai spesifikasi, tetapi spesifikasinya sudah usang.
  • Tembok Teknis: Saya meminta temuan yang akurat. Agen tersebut memberi saya jargon teknis. Itu benar, tetapi pengguna saya tidak bisa membacanya. Saya membangun untuk seorang insinyur, bukan manusia.
  • Kegagalan Senyap: Sebuah rute social card menghasilkan file berukuran nol byte. File font yang kosong tidak memicu error. Kode tersebut menangani error yang ia antisipasi, tetapi ia melewatkan error yang sebenarnya terjadi.

Setiap satu dari hal ini lolos dari tesnya masing-masing. Kodenya secara teknis sempurna.

Jika saya hanya percaya pada "ini berhasil," keempat kegagalan tersebut pasti sudah dirilis.

Solusinya bukanlah prompting yang lebih baik. Bukan pula agen yang lebih pintar. Solusinya adalah pengawasan manusia.

Agen mengoptimalkan apa yang Anda katakan. Tugas Anda adalah memeriksa apa yang Anda katakan terhadap apa yang Anda maksudkan. Agen tidak dapat melihat perbedaannya. Hanya Anda yang bisa.

Arahan bukanlah perintah satu kali. Arahan adalah tindakan terus-menerus untuk membandingkan hasil kerja dengan tujuan Anda. Anda harus bertanya: "Apakah ini hal yang saya inginkan?" alih-alih "Apakah ini sudah berjalan?"

Agen melakukan pekerjaan. Manusia memberikan intensi.

Source: https://dev.to/earlgreyhot1701d/breaking-build-kiro-and-claude-delivered-exactly-what-i-asked-and-it-wasnt-what-i-wanted-27l5

Optional learning community: https://t.me/GyaanSetuAi