𝗔𝗜 𝗔𝗻𝗱𝗮 𝗕𝘂𝗸𝗮𝗻𝗹𝗮𝗵 𝗦𝗲𝗱𝗮𝗻𝗴 𝗛𝗮𝗹𝘂𝘀𝗶𝗻𝗮𝘀𝗶. 𝗜𝗮 𝗦𝗲𝗱𝗮𝗻𝗴 𝗠𝗲𝗻𝗲𝗱𝘂𝗸.
Model AI tidak tahu kapan mereka salah. Mereka tidak memiliki sinyal untuk menandai ketidakpastian. Mereka menghasilkan kata berikutnya yang paling mungkin berdasarkan input Anda. Mereka menunjukkan tingkat kepercayaan yang sama saat mereka benar maupun saat mereka salah.
Ini bukan cacat dalam sistem. Inilah cara arsitekturnya bekerja.
LLM adalah prediktor token berikutnya. Mereka tidak memeriksa basis data fakta. Mereka melakukan penyelesaian pola dalam skala besar. Jika model memberikan jawaban yang salah, itu karena prompt Anda mengarahkan probabilitas ke arah hasil tersebut.
Perbedaan ini mengubah cara Anda memperbaiki masalah. Jika model sedang berhalusinasi, Anda tidak dapat memperbaikinya. Jika model sedang menebak karena prompt Anda tidak jelas, Anda dapat memperbaikinya sekarang juga.
Di Datawise, kami melakukan benchmark pada model AI. Kami melihat pola yang konsisten. Model memberikan jawaban yang salah ketika input kurang detail. Model menjawab pertanyaan yang sebenarnya Anda ajukan, bukan pertanyaan yang Anda maksudkan.
Bandingkan kedua prompt ini:
- "Bagaimana cara menghubungkan ke Postgres di Python?"
- "Bagaimana cara menghubungkan ke Postgres di Python menggunakan psycopg3, dengan connection pool sebanyak 10, di Ubuntu 24.04, di balik Cloudflare Tunnel, dengan timeout 30 detik?"
Prompt pertama memaksa model untuk melakukan enam tebakan. Prompt kedua memberikan batasan.
Kesulitan dalam menulis prompt yang spesifik adalah kesulitan dalam memahami kebutuhan Anda sendiri. Jika Anda tidak dapat menulis prompt yang spesifik, berarti Anda belum tahu apa yang Anda butuhkan. Berhenti membuat prompt dan mulailah berpikir.
AI menghasilkan output yang salah dengan kefasihan yang sama dengan output yang benar. Prosa yang dihasilkan terdengar berwibawa. Kodenya terlihat bersih. Tidak ada sinyal bahwa model sedang mengisi kekosongan informasi.
Insinyur senior tidak hanya memercayai output tersebut. Mereka bertanya: di bagian mana saya memberikan ruang untuk interpretasi? Setiap kata yang ambigu adalah keputusan yang diambil model untuk Anda.
Jangan hanya mengirim ulang prompt dengan pilihan kata yang sedikit berbeda. Itu seperti memulai ulang layanan tanpa memeriksa log. Anda tidak sedang memperbaiki akar masalahnya.
Ketika output salah, baca prompt Anda terlebih dahulu. Temukan di mana Anda memberikan ruang untuk interpretasi. Tambahkan batasan untuk:
- Input dan output
- Penanganan kesalahan (error handling)
- Dependensi
- Edge cases
Sebelum Anda menekan enter, baca prompt Anda seolah-olah Anda adalah insinyur baru tanpa konteks apa pun. Segala sesuatu yang harus Anda tebak adalah bagian di mana model juga akan menebak.
Model menunjukkan celah dalam instruksi Anda. Perbaiki celah tersebut. Tulis prompt yang lebih presisi.
Komunitas belajar opsional: https://t.me/GyaanSetuAi