Prototaip RAG seorang pembangun enggan menjawab sebarang pertanyaan dengan keserupaan kosinus (cosine similarity) di bawah 0.50. Ia berfungsi dengan sempurna—sehinggalah model embedding ditukar. Mekanisme kawalan (guard) tersebut kemudiannya membiarkan jawapan yang salah terlepas secara senyap. Insiden ini membuktikan bahawa ambang keserupaan yang dikodkan secara tetap (hard-coded) boleh runtuh merentasi pelbagai model, satu risiko yang mengancam mana-mana sistem yang bergantung pada keserupaan embedding untuk semakan keselamatan.
Mengapa ambang tersebut penting
Saluran (pipeline) penjanaan dipertingkat-carian (RAG) sering menggunakan mekanisme kawalan keserupaan: jika keserupaan kosinus antara pertanyaan dan dokumen terdekatnya jatuh di bawah angka yang ditetapkan, sistem akan membatalkan jawapan. Mekanisme ini menghalang model daripada berhalusinasi apabila konteks yang diperoleh adalah lemah. Dalam tetapan asal, ambang 0.50 memastikan sistem kekal tepat—pertanyaan yang tidak boleh dijawab mendapat skor di bawah garis tersebut, manakala yang boleh dijawab mendapat skor di atasnya.
Apabila backend embedding berubah, had 0.50 yang sama tidak lagi memisahkan kedua-dua kumpulan tersebut. Saluran tersebut mula memberikan respons yang yakin tetapi salah tanpa sebarang kegagalan sistem atau ralat yang nyata. Kegagalan ini terlepas daripada metrik kedudukan (ranking metrics) standard dan hanya muncul apabila manusia menyedari anjakan tersebut.
Geometri tidak bersifat sejagat
Setiap model embedding memetakan bahasa ke dalam ruang berdimensi tinggi dengan geometrinya sendiri. Oleh itu, nilai keserupaan kosinus membawa maksud yang berbeza dari satu model ke model yang lain. Skor 0.50 boleh berada di pinggir jurang yang jelas bagi satu model, tetapi berada jauh di dalam kawasan pertindihan bagi model yang lain.
- Voyage-3 – garis 0.50 terletak di antara pertanyaan tidak boleh dijawab yang berskor rendah dan pertanyaan boleh dijawab yang berskor tinggi. Mekanisme kawalan berfungsi seperti yang diharapkan.
- BGE-Small – banyak pertanyaan tidak boleh dijawab mendapat skor di atas 0.50, jadi mekanisme kawalan tidak pernah diaktifkan. Menaikkan had ke 0.70 dapat memulihkan margin keselamatan.
- Hashing-64 – skor bagi pertanyaan boleh dijawab dan tidak boleh dijawab bercampur aduk dengan begitu rapat sehingga tiada satu ambang pun yang dapat memisahkannya; model ini terlalu lemah untuk menyokong mekanisme kawalan keserupaan sama sekali.
Kes-kes ini menggambarkan kebenaran yang lebih luas: sesuatu ambang adalah milik pasangan model-data yang khusus, bukannya peraturan sejagat.
Kos tersembunyi sebuah pemalar
Ambang keserupaan muncul dalam banyak tugasan hiliran (downstream tasks):
- caching semantik
- pengesanan pendua
- semakan kaitan dokumen
- pemadanan entiti
Menggunakan nilai pemalar mengandaikan bahawa semua model embedding berkongsi taburan skor yang sama—satu andaian yang berbahaya. Apabila andaian ini gagal, sistem akan menghasilkan output yang memberikan keyakinan palsu secara senyap, menghakis kepercayaan pengguna dan membekalkan data palsu kepada keputusan hiliran.
Menentukur mekanisme kawalan mengikut model
Penyelesaiannya mudah: jangan sekali-kali melancarkan nilai pemalar yang dikodkan secara tetap. Anggap ambang tersebut sebagai hiper-parameter yang mesti dilaraskan untuk setiap model embedding baharu.
- Sediakan set pengesahan berlabel yang sederhana merangkumi pertanyaan yang boleh dijawab dan tidak boleh dijawab.
- Kira keserupaan kosinus untuk setiap pasangan pertanyaan-dokumen menggunakan model sasaran.
- Plotkan kedua-dua taburan atau kira kadar keyakinan palsu (false-confident rate)—iaitu nisbah pertanyaan tidak boleh dijawab yang melebihi ambang calon.
- Pilih nilai keserupaan terkecil yang mengekalkan kadar keyakinan palsu di bawah tahap risiko yang boleh diterima.
Oleh kerana matlamatnya adalah untuk mencegah keyakinan berlebihan, metrik kedudukan tradisional seperti mean reciprocal rank (MRR) adalah tidak mencukupi. Kadar keyakinan palsu mengukur mod kegagalan mekanisme kawalan secara langsung.
Hujah balas: “Sesetengah model berfungsi terus dari kotak”
Memang benar bahawa model tertentu yang stabil, seperti Voyage-3 dalam contoh tersebut, kebetulan selari dengan kawalan 0.50. Itu tidak menjamin kestabilan masa hadapan. Kemas kini model, penalaan halus (fine-tuning), atau perubahan dalam korpus asas boleh mengubah taburan keserupaan, sekali gus merosakkan mekanisme kawalan semula. Bergantung pada satu penjajaran yang bernasib baik sahaja akan mengundang sikap leka.
Apa yang perlu diperhatikan seterusnya
-
-
-
Kesimpulan
Ambang keserupaan bukanlah suis keselamatan sejagat; ia adalah mekanisme kawalan khusus model yang mesti dilaraskan setiap kali anda menukar backend embedding atau data yang diprosesnya. Mengabaikan fakta ini membiarkan sistem RAG terjerumus ke dalam halusinasi senyap, yang menjejaskan tujuan asal mekanisme kawalan tersebut. Satu-satunya jalan penyelesaian yang boleh dipercayai adalah penalaan sistematik mengikut model dan pemantauan berterusan terhadap kadar keyakinan palsu.