Apa yang Diajarkan LLM Cepat kepada Saya tentang Asumsi
Saya menjalankan LLM yang murah dan cepat pada tugas yang kompleks selama satu jam. Ia tidak gagal.
Kebanyakan orang berpikir model yang lemah akan gagal pada tugas yang panjang. Mereka melantur atau menyerah di tengah jalan. Namun, model ini tetap pada jalurnya. Hal ini terjadi karena saya memberinya daftar deliverables.
Saya pikir deliverables ini membantu akurasi. Saya salah.
Sebuah studi menunjukkan bahwa deliverables tidak membuat model menjadi lebih akurat. Mereka membuat model lebih mudah diverifikasi. Model tersebut mendokumentasikan pekerjaannya dengan lebih baik. Ia meninggalkan bukti untuk Anda periksa.
Ada dua jenis kesalahan dalam perangkat lunak:
- Kesalahan eksekusi: Koma yang tertukar atau edge case yang terlewat. Anda memperbaiki ini dengan pengujian dan linting.
- Kesalahan asumsi: Menempatkan batasan di tempat yang salah. Ini jauh lebih sulit untuk diperbaiki.
Proses membantu mengatasi kesalahan eksekusi. Proses tidak menyelesaikan kesalahan asumsi. Jika Anda dan model tersebut memiliki titik buta (blind spot) yang sama, peninjauan Anda juga akan gagal.
AI mengubah perhitungan pada kesalahan-kesalahan ini.
Di masa lalu, manusia membuat kesalahan secara lambat. Ini memberi Anda waktu untuk menyadarinya. Sekarang, AI membuat kesalahan dengan cepat. Sebuah model dapat membangun tiga jam kode yang sempurna di atas satu asumsi yang salah sebelum Anda menyadarinya.
Semakin mumpuni sebuah model terlihat, semakin Anda mempercayainya. Anda membiarkannya berjalan lebih lama. Anda berhenti memeriksa sesering biasanya. Ini adalah jebakan. Asumsi yang salah tidak akan menyalakan lampu peringatan. Ia tampak seperti kemajuan sampai semuanya terlambat.
Industri mencoba memperbaiki ini dengan lebih banyak proses. Kita menambahkan lebih banyak spesifikasi dan lebih banyak rencana. Ini hanyalah beban tambahan (overhead). Ini adalah alat eksekusi untuk masalah asumsi.
Kita perlu berhenti mengukur seberapa sering sebuah model benar. Kita perlu mengukur seberapa lama asumsi yang salah bertahan sebelum kita menangkapnya.
Dalam produksi, kita menyebut ini MTTD: Mean Time To Detect.
Kita tidak bisa menghentikan setiap kesalahan. Kita hanya bisa membuat kesalahan tersebut lebih murah untuk diperbaiki. Anda melakukannya dengan menangkapnya lebih awal.
Tujuannya bukan sekadar menemukan model yang lebih cerdas. Tujuannya adalah untuk memutuskan di bagian mana Anda masih perlu menjadi pihak yang memegang kendali.
Source: https://dev.to/g_correa/what-a-fast-llm-taught-me-about-assumptions-oe
Optional learning community: https://t.me/GyaanSetuAi