Biaya Verifikasi Adalah Biaya Coding AI yang Sebenarnya

Dulu saya selalu mengajukan satu pertanyaan saat memilih model AI untuk coding.

Model mana yang cukup kuat untuk tugas ini?

Pertanyaan itu tidak salah. Tapi itu bukan lagi pertanyaan utama saya.

Pertanyaan yang lebih baik adalah: Seberapa cepat saya bisa memverifikasi hasilnya?

Pola pikir ini mengubah cara Anda menggunakan model berbiaya rendah. Jangan menganggapnya sebagai versi lemah dari model besar. Anggaplah mereka sebagai pekerja untuk tugas-tugas dengan jalur verifikasi yang singkat.

Beberapa tugas murah untuk ditinjau karena Anda dapat melihat hasilnya secara langsung.

• Pembersihan README • Contoh penggunaan • Komentar kode • Catatan changelog • Skrip pemformatan kecil • Templat issue

Jika model menulis paragraf README yang buruk, Anda akan melihatnya. Anda tinggal menghapus bagian yang buruk tersebut. Kesalahannya memang menjengkelkan, tetapi hampir tidak memakan biaya apa pun. Inilah kegunaan terbaik untuk model murah.

Kategori berikutnya adalah pekerjaan yang dapat diuji.

Jika Anda dapat menentukan perilaku yang diharapkan dan menjalankan rangkaian pengujian, gunakan model yang lebih murah untuk draf pertama. Anda harus memberikan batasan yang jelas kepada model tersebut.

Jangan katakan: Tambahkan pengujian untuk helper ini.

Katakan: Tambahkan pengujian untuk input kosong, input null, nilai duplikat, konfigurasi tidak valid, konfigurasi default, dan input normal. Jangan ubah kode runtime.

Ini memaksa model untuk bekerja di dalam kerangka verifikasi.

Beberapa tugas tidak memiliki pengujian otomatis tetapi memungkinkan pemeriksaan manual yang jelas.

• Pemformatan output CLI • Contoh konfigurasi • Catatan dry run migrasi • Skrip konversi data kecil

Untuk hal-hal ini, mintalah model untuk menyertakan:

  • Cara menjalankan kode
  • Input apa yang harus digunakan
  • Output apa yang diharapkan
  • Edge case mana yang harus diperiksa

Jika sebuah model tidak dapat menjelaskan cara memverifikasi pekerjaannya sendiri, jangan percayai kodenya.

Refactor kecil itu berbahaya. Sebuah diff mungkin terlihat pendek dan bersih. Namun, perilakunya bisa berubah di jalur tersembunyi, nilai default, atau pemeriksaan izin.

Tingkatkan tingkat risiko Anda ketika sebuah tugas menyentuh:

  • Fallbacks
  • Defaults
  • Routing
  • Permissions
  • Billing
  • Rate limits
  • Migrations
  • Backwards compatibility

Kesalahan-kesalahan ini sulit terlihat dalam peninjauan kode standar. Mereka membutuhkan konteks yang mendalam.

Kelompokkan pekerjaan Anda berdasarkan biaya verifikasi:

  • Biaya verifikasi rendah: Gunakan model berbiaya rendah untuk membuat drafnya.
  • Biaya verifikasi sedang: Gunakan model berbiaya rendah, lalu edit secara manual oleh manusia.
  • Biaya verifikasi tinggi: Gunakan model yang kuat dengan pengujian dan peninjauan manusia.

Ukuran tidaklah penting. Tugas kecil bisa menjadi mahal jika sulit untuk diverifikasi.

Bagian yang mahal dari coding AI bukanlah generasinya. Melainkan kepercayaannya.

Source: https://dev.to/zephyrelabs369/verification-cost-is-the-real-ai-coding-cost-1354

Optional learning community: https://t.me/GyaanSetuAi