Berhenti Bertanya pada LLM Apakah Sumber Mereka Nyata
Anda meminta daftar sumber kepada AI. Ia memberikan judul, penulis, dan DOI. Semuanya tampak sempurna. Lalu Anda menyadari bahwa setengah dari sumber tersebut tidak ada.
DOI tersebut tidak mengarah ke mana pun. Makalah tersebut tidak pernah ditulis.
Insting Anda adalah bertanya kepada model tersebut: "Apakah Anda yakin ini nyata?" AI akan menjawab ya. Ia selalu menjawab ya. Anda sedang bertanya kepada seorang pemalsu apakah karyanya autentik.
Sebuah LLM tidak menggunakan basis data makalah. Ia memprediksi kata berikutnya dalam sebuah urutan. Bagi AI, sebuah sitasi hanyalah sebuah pola. Ia tahu bahwa sebuah sitasi membutuhkan nama, tahun, dan sepuluh digit. Ia meniru bentuk sumber asli tanpa mengandung kebenaran.
Berhenti meminta model untuk memverifikasi pekerjaannya sendiri. Ia tidak dapat melakukannya karena dua alasan:
- Ia tidak memiliki akses ke registri langsung. Ia hanya menghasilkan teks yang tampak meyakinkan.
- Ia memiliki bias untuk mengonfirmasi apa yang telah dikatakannya.
Anda harus menggunakan alat eksternal untuk memverifikasi informasi. Berikut adalah filter tiga langkah untuk penulisan teknis:
Eksistensi. Periksa DOI terhadap API seperti Crossref. Jika API mengembalikan kesalahan 404, sumber tersebut palsu. DOI yang dibuat-buat tidak akan pernah dapat diakses.
Kredibilitas. Sebuah sumber bisa saja ada tetapi tetap tidak berharga. Periksa apakah jurnal atau konferensinya diakui. DOI yang valid tidak menjamin kualitas.
Fidelitas. Apakah makalah tersebut benar-benar mendukung klaim Anda? Anda harus membaca is