Verification Cost Is The Real AI Coding Cost

Saya dahulunya sering bertanya satu soalan apabila memilih model AI untuk pengkodan.

Model manakah yang cukup kuat untuk tugasan ini?

Soalan itu tidak salah. Tetapi ia bukan lagi soalan pertama saya.

Soalan yang lebih baik ialah: Seberapa cepat saya boleh mengesahkan output tersebut?

Minda ini mengubah cara anda menggunakan model kos rendah. Jangan anggap ia sebagai versi lemah bagi model besar. Anggap ia sebagai pekerja untuk tugasan dengan laluan pengesahan yang pendek.

Sesetengah tugasan murah untuk disemak kerana anda boleh melihat hasilnya dengan segera.

• Pembersihan README • Contoh penggunaan • Komen kod • Nota changelog • Skrip pemformatan kecil • Templat isu

Jika model menulis perenggan README yang buruk, anda akan menyedarinya. Anda padam bahagian yang buruk itu. Ralat tersebut menjengkelkan, tetapi ia hampir tidak menelan sebarang kos. Inilah kegunaan terbaik bagi model murah.

Kategori seterusnya ialah kerja yang boleh diuji.

Jika anda boleh menentukan tingkah laku yang dijangkakan dan menjalankan suite ujian, gunakan model yang lebih murah untuk draf pertama. Anda mesti memberikan sempadan yang jelas kepada model tersebut.

Jangan kata: Tambah ujian untuk pembantu (helper) ini.

Kata: Tambah ujian untuk input kosong, input null, nilai pendua, konfigurasi tidak sah, konfigurasi lalai, dan input normal. Jangan ubah kod runtime.

Ini memaksa model untuk bekerja di dalam kerangka pengesahan.

Sesetengah tugasan tidak mempunyai ujian automatik tetapi membolehkan semakan manual yang jelas.

• Pemformatan output CLI • Contoh konfigurasi • Nota dry run migrasi • Skrip penukaran data kecil

Untuk perkara ini, minta model untuk menyertakan:

  • Cara menjalankan kod
  • Input apa yang perlu digunakan
  • Output apa yang dijangkakan
  • Kes hujung (edge cases) mana yang perlu disemak

Jika model tidak dapat menjelaskan cara untuk mengesahkan kerjanya sendiri, jangan percayai kod tersebut.

Refaktor kecil adalah berbahaya. Perbezaan (diff) mungkin kelihatan pendek dan bersih. Tetapi tingkah lakunya mungkin berubah dalam laluan tersembunyi, nilai lalai, atau semakan kebenaran.

Tingkatkan tahap risiko anda apabila tugasan melibatkan:

  • Fallback
  • Nilai lalai
  • Penghalaan (Routing)
  • Kebenaran
  • Pengebilan
  • Had kadar (Rate limits)
  • Migrasi
  • Keserasian ke belakang (Backwards compatibility)

Ralat ini sukar dilihat dalam semakan kod standard. Ia memerlukan konteks yang mendalam.

Bahagikan kerja anda mengikut kos pengesahan:

  • Kos pengesahan rendah: Gunakan model kos rendah untuk mendrafnya.
  • Kos pengesahan sederhana: Gunakan model kos rendah, kemudian suntingan manusia.
  • Kos pengesahan tinggi: Gunakan model yang kuat dengan ujian dan semakan manusia.

Saiz tidak penting. Tugasan kecil adalah mahal jika ia sukar untuk disahkan.

Bahagian yang mahal dalam pengkodan AI bukanlah penjanaan. Ia adalah kepercayaan.

Source: https://dev.to/zephyrelabs369/verification-cost-is-the-real-ai-coding-cost-1354

Optional learning community: https://t.me/GyaanSetuAi