Apakah Anda Membutuhkan AI Paling Canggih untuk Pekerjaan Sehari-hari?
Model AI baru hadir setiap minggu. Orang-orang memperdebatkan benchmark dan skor coding. Kita semua merasa antusias.
Tapi saya mulai mengajukan pertanyaan yang berbeda. Apakah Anda benar-benar membutuhkan model yang paling canggih untuk tugas sehari-hari Anda?
Baru-baru ini saya menguji hal ini. Saya membandingkan dua model untuk tugas refactoring kode.
- Sonnet memakan biaya 76,1 kredit.
- Haiku memakan biaya 13,3 kredit.
Haiku 5,7x lebih murah. Saya mengira model yang mahal akan menang. Ternyata tidak.
Haiku menghasilkan hasil yang lebih baik. Ia membagi kode menjadi tiga file yang bersih. Ia mengikuti standar coding kami dengan lebih baik daripada Sonnet. Ia lebih murah dan lebih efektif.
Lebih besar dan lebih mahal tidak berarti lebih baik.
Kemampuan model hanyalah satu bagian dari proses. Saya menggunakan harness pengembangan AI untuk mendapatkan hasil yang lebih baik. Harness ini mencakup:
• Instruksi khusus repositori • Standar coding • Panduan arsitektur • Alur kerja pengembangan • Konteks proyek • Ekspektasi tinjauan
Saat Anda membangun guardrail ini, model kecil akan bekerja lebih baik. Model tersebut tidak menebak seperti apa kode yang bagus. Lingkunganlah yang memberitahunya.
Sebagian besar tugas rekayasa bukanlah masalah penelitian. Tugas-tugas seperti refactoring, menulis tes, atau membuat dokumentasi tidak memerlukan model yang masif.
Berhentilah bertanya model mana yang memiliki benchmark tertinggi. Ajukan pertanyaan-pertanyaan ini sebagai gantinya:
- Apakah tugasnya selesai?
- Apakah hasilnya mudah dipelihara?
- Apakah mengikuti standar proyek?
- Apakah biayanya sepadan?
- Bisakah tim menskalakan ini dengan murah?
Gunakan model paling murah yang dapat menyelesaikan masalah Anda.
Industri AI berfokus pada kecerdasan. Anda harus berfokus pada kualitas harness. Model yang biayanya 5,7x lebih murah dapat memberikan hasil yang lebih baik jika Anda memberinya konteks yang tepat.
Komunitas belajar opsional: https://t.me/GyaanSetuAi