𝗔𝗜 𝗔𝗻𝗱𝗮 𝗕𝘂𝗸𝗮𝗻𝗹𝗮𝗵 𝗦𝗲𝗱𝗮𝗻𝗴 𝗛𝗮𝗹𝗹𝘂𝘀𝗶𝗻𝗮𝘀𝗶. 𝗜𝗮 𝗦𝗲𝗱𝗮𝗻𝗴 𝗠𝗲𝗻𝗲𝗸𝗮.
Model AI tidak tahu bila mereka salah. Mereka tidak mempunyai isyarat untuk menandakan ketidakpastian. Mereka menghasilkan perkataan seterusnya yang paling berkemungkinan berdasarkan input anda. Mereka menunjukkan tahap keyakinan yang sama sama ada mereka betul atau salah.
Ini bukan kecacatan dalam sistem. Beginilah cara seni bina tersebut berfungsi.
LLM adalah peramal token seterusnya. Mereka tidak menyemak pangkalan data fakta. Mereka melakukan pelengkapan corak pada skala besar. Jika model memberikan jawapan yang salah, itu adalah kerana arahan anda telah mengarahkan kebarangkalian ke arah keputusan tersebut.
Perbezaan ini mengubah cara anda menyelesaikan masalah. Jika model sedang berhalusinasi, anda tidak boleh memperbaikinya. Jika model sedang meneka kerana arahan anda kabur, anda boleh memperbaikinya sekarang juga.
Di Datawise, kami melakukan penandaarasan terhadap model AI. Kami melihat corak yang konsisten. Model memberikan jawapan yang salah apabila input kurang terperinci. Model menjawab soalan yang anda tanya sebenarnya, bukan soalan yang anda maksudkan untuk ditanya.
Bandingkan dua arahan ini:
- "Bagaimana cara saya menyambung ke Postgres dalam Python?"
- "Bagaimana cara saya menyambung ke Postgres dalam Python menggunakan psycopg3, dengan kolam sambungan (connection pool) sebanyak 10, pada Ubuntu 24.04, di sebalik Cloudflare Tunnel, dengan masa tamat (timeout) 30 saat?"
Arahan pertama memaksa model untuk membuat enam tekaan. Arahan kedua menyediakan kekangan.
Kesukaran menulis arahan yang spesifik adalah kesukaran untuk mengetahui keperluan anda sendiri. Jika anda tidak dapat menulis arahan yang spesifik, bermakna anda belum tahu apa yang anda perlukan. Berhenti memberi arahan dan mula berfikir.
AI menghasilkan output yang salah dengan kelancaran yang sama seperti output yang betul. Prosa kedengaran berwibawa. Kod kelihatan bersih. Tiada isyarat bahawa model tersebut sedang mengisi jurang maklumat.
Jurutera kanan tidak hanya mempercayai output tersebut. Mereka bertanya: di mana saya meninggalkan ruang untuk tafsiran? Setiap perkataan yang kabur adalah keputusan yang dibuat oleh model untuk anda.
Jangan sekadar menghantar semula arahan dengan susunan kata yang sedikit berbeza. Itu ibarat memulakan semula perkhidmatan tanpa menyemak log. Anda tidak sedang menyelesaikan punca masalah.
Apabila output adalah salah, baca arahan anda terlebih dahulu. Cari di mana anda meninggalkan ruang untuk tafsiran. Tambah kekangan untuk:
- Input dan output
- Pengendalian ralat
- Kebergantungan
- Kes hujung
Sebelum anda menekan enter, baca arahan anda seolah-olah anda adalah jurutera baharu yang tidak mempunyai konteks. Apa sahaja yang anda perlu teka adalah tempat di mana model juga akan membuat tekaan.
Model tersebut menunjukkan jurang dalam arahan anda. Perbaiki jurang tersebut. Tulis prompt yang lebih tepat.
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi