Bagaimana Makmal Jepun Membina Sistem RAG yang Lebih Baik
Pangkalan data vektor anda mengembalikan cebisan (chunks) yang relevan. Model embedding anda mendapat skor tinggi dalam penanda aras. Namun, apabila pengguna bertanya soalan yang kompleks, sistem memberikan jawapan yang tidak berguna.
Ini adalah kegagalan seni bina capaian (retrieval architecture). Menala (tuning) LLM anda tidak akan menyelesaikannya.
Sebuah pasukan penyelidik Jepun telah menemui penyelesaiannya. Mereka membina sistem RAG graf pengetahuan (knowledge graph). Pendekatan ini meningkatkan ketepatan tugasan saintifik sebanyak 90%.
Masalah dengan RAG standard adalah persamaan semantik. Satu cebisan tentang pelipatan protein mungkin kelihatan serupa dengan pertanyaan tentang CRISPR. Namun, persamaan tidak bermakna relevan.
Pasukan Jepun tersebut menggunakan hubungan entiti dan bukannya sekadar cebisan teks. Mereka mengekstrak:
- Entiti seperti protein atau penyelidik
- Hubungan seperti menghalang (inhibits) atau memetik (cites)
- Atribut seperti skor keyakinan
Mereka menggunakan proses dua peringkat. Pertama, mereka mengenal pasti subgraf yang relevan. Kedua, mereka mengambil teks yang berpaksikan entiti tersebut. Ini menghentikan hanyutan semantik (semantic drift). Anda mengambil konteks, bukan sekadar perkataan yang serupa.
GraphRAG lebih sukar untuk dibina berbanding RAG standard. Anda memerlukan:
- Saluran (pipeline) pengekstrakan entiti
- Klasifikasi hubungan
- Infrastruktur storan graf
- Enjin pertanyaan hibrid
Risiko terbesar adalah penyelenggaraan. Graf akan menjadi lapuk jika anda tidak mengemas kininya. Saya mempelajari perkara ini dengan cara yang sukar pada tahun 2023. Saya membina sistem RAG perundangan dengan ketepatan yang tinggi. Namun, saya gagal membina mekanisme kemas kini. Enam bulan kemudian, data tersebut menjadi usang. Ketepatan merosot daripada 94% kepada 71%.
Cara membina dengan betul:
- Mulakan dengan taksonomi entiti. Pilih 20 hingga 30 jenis yang penting.
- Gunakan capaian hibrid (hybrid retrieval) dari hari pertama. Gunakan graf untuk hubungan dan vektor untuk topik.
- Bina saluran penyelenggaraan anda terlebih dahulu. Rancang bagaimana dokumen baharu mengemas kini graf tersebut.
- Ukur rantaian penaakulan (reasoning chains). Jejaki berapa banyak langkah yang diambil oleh sistem untuk menjawab.
Jika anda bekerja dalam bidang sains, undang-undang, atau perubatan, kos penyelenggaraan tersebut berbaloi. Untuk FAQ yang ringkas, RAG standard sudah mencukupi.
Tanya diri anda perkara ini: Berapa peratuskah pertanyaan anda yang bertanya tentang hubungan? Jika lebih daripada 40% pengguna anda bertanya tentang bagaimana sesuatu perkara berkaitan, anda memerlukan graf.
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi