Enjin carian AI boleh kedengaran yakin walaupun memetik sumber yang tidak aktif atau berkualiti rendah, menurut satu ujian pantas
Semakan asal-usul (provenance) ringkas terhadap tiga alat carian berkuasa AI yang popular mendedahkan bahawa dua daripadanya sama ada merujuk kepada pautan yang tidak aktif atau menyokong jawapan mereka dengan laman web yang mempunyai kredibiliti rendah, walaupun ketiga-tiganya memaparkan prosa yang yakin dan barisan "cip" sumber yang sama.
Ujian yang mencetuskan kejutan
Saya mengajukan soalan fakta yang terkini: “Apakah yang berubah dalam Akta AI EU pada tahun 2026?” Jawapannya wujud dalam teks pindaan rasmi, jadi ia sama ada ada di sana atau tidak. Saya memasukkan pertanyaan tersebut ke dalam tiga enjin carian AI yang memaparkan petikan: Perplexity, mod AI Google, dan Brave Search.
Ketiga-tiganya memberikan fakta yang serupa—tarikh yang sama, huraian yang sama—jadi mereka seri dari segi ketepatan tulen. Perbezaan hanya muncul apabila saya memeriksa sumber yang dipetik.
Bagaimana saya menilai kualiti sumber
Saya mencipta satu skema pemarkahan tiga peringkat yang memberikan pemberat kepada setiap petikan berdasarkan jenis hos:
- Utama (pemberat 3) – laman web yang sebenarnya menerbitkan undang-undang tersebut (cth., daftar rasmi EU).
- Rasmi (pemberat 2) – institusi yang mengeluarkan atau menyelia undang-undang tersebut (domain kerajaan, laman web agensi).
- Kandungan jana pengguna (UGC, pemberat 0) – platform seperti YouTube atau Reddit.
Skor keseluruhan setiap enjin adalah purata pemberat URL yang dipaparkannya.
| Enjin | Sumber yang dilaporkan | Skor |
|---|---|---|
| Perplexity | Domain kerajaan rasmi | 2.00 |
| Google AI mode | Firma perunding dan video YouTube | 1.00 |
| Brave Search | Sumber utama | 3.00 |
Di atas kertas, Brave kelihatan sempurna, Perplexity memuaskan, dan Google ketinggalan di belakang.
Kegagalan tersembunyi: pautan tidak aktif
Peta peringkat hanya melihat nama domain; ia tidak mengesahkan sama ada halaman yang dipautkan itu benar-benar boleh dimuatkan. Saya menyemak setiap URL. Petikan "utama" Brave memulangkan kandungan kosong—pautannya tidak aktif. Enjin tersebut mendakwa merujuk kepada undang-undang tersebut tetapi tidak memberikan apa-apa.
Perplexity menggunakan domain kerajaan rasmi.
Google menggunakan firma perunding dan video YouTube.
Dua masalah nyata muncul:
- Domain berkualiti tinggi tidak menjamin halaman yang boleh dicapai.
- Ringkasan yang disusun dengan baik boleh disokong oleh sumber yang mempunyai kredibiliti rendah.
Antara muka pengguna menyembunyikan kedua-dua isu ini. Ketiga-tiga alat memaparkan perenggan yang yakin dan barisan cip sumber yang seragam, tanpa sebarang petunjuk visual bahawa satu cip memaut ke halaman yang tidak aktif atau satu lagi merujuk kepada tutorial YouTube dan bukannya teks statutori.
Mengapa asal-usul penting bagi pembangun
Pembangun boleh menukarkan asal-usul kepada metrik yang boleh diuji:
- Skor setiap jawapan menggunakan pemberatan bertingkat seperti di atas.
- Sahkan kesihatan pautan secara automatik; tandakan respons kosong atau ralat HTTP.
- Cetuskan amaran apabila skor asal-usul jawapan jatuh di bawah ambang yang boleh dikonfigurasi.
Pendekatan ini lebih konkrit daripada mengejar “halusinasi” – model mungkin menjana ayat yang munasabah, tetapi semakan asal-usul memberitahu anda dengan tepat petikan mana (atau ketiadaannya) yang menyebabkan masalah, membolehkan pembaikan yang disasarkan.
Kesimpulan
Ujian asal-usul ringkas menunjukkan bahawa enjin carian AI boleh kelihatan berautoriti walaupun memetik sumber yang tidak aktif atau berkualiti rendah. Pembangun yang bergantung kepada enjin ini harus menganggap kualiti petikan sebagai sifat yang boleh diukur, bukan jaminan yang dianggap sedia ada, dan membina semakan automatik ke dalam saluran kerja mereka. Mengesahkan bahawa sumber “utama” benar-benar boleh dimuatkan boleh menjadi perbezaan antara jawapan yang boleh dipercayai dan perangkap maklumat salah yang senyap.