𝗛𝗼𝘄 𝗝𝗮𝗽𝗮𝗻𝗲𝘀𝗲 𝗟𝗮𝗯𝘀 𝗕𝘂𝗶𝗹𝗱 𝗕𝗲𝘁𝘁𝗲𝗿 𝗥𝗔𝗚 𝗦𝘆𝘀𝘁𝗲𝗺𝘀
ฐานข้อมูลเวกเตอร์ของคุณคืนค่า chunk ที่เกี่ยวข้อง โมเดล embedding ของคุณได้คะแนนสูงในการทดสอบ benchmark แต่เมื่อผู้ใช้ถามคำถามที่ซับซ้อน ระบบกลับให้คำตอบที่ไร้ประโยชน์
นี่คือความล้มเหลวของสถาปัตยกรรมการดึงข้อมูล (retrieval architecture) การปรับจูน LLM ของคุณจะไม่ช่วยแก้ปัญหานี้
ทีมวิจัยชาวญี่ปุ่นได้ค้นพบทางออก พวกเขาสร้างระบบ Knowledge Graph RAG ซึ่งแนวทางนี้ช่วยเพิ่มความแม่นยำในงานด้านวิทยาศาสตร์ได้ถึง 90%
ปัญหาของ RAG แบบมาตรฐานคือความคล้ายคลึงทางความหมาย (semantic similarity) chunk เกี่ยวกับการพับตัวของโปรตีน (protein folding) อาจดูคล้ายกับคำถามเกี่ยวกับ CRISPR แต่ความคล้ายคลึงไม่ได้หมายความว่ามีความเกี่ยวข้องเสมอไป
ทีมญี่ปุ่นใช้ความสัมพันธ์ระหว่างเอนทิตี (entity relationships) แทนที่จะใช้เพียงแค่ text chunks พวกเขาทำการสกัดข้อมูลดังนี้:
- เอนทิตี (Entities) เช่น โปรตีน หรือนักวิจัย
- ความสัมพันธ์ (Relationships) เช่น ยับยั้ง (inhibits) หรือ อ้างอิง (cites)
- คุณลักษณะ (Attributes) เช่น คะแนนความเชื่อมั่น (confidence scores)
พวกเขาใช้กระบวนการแบบสองขั้นตอน ขั้นแรกคือการระบุ subgraph ที่เกี่ยวข้อง ขั้นที่สองคือการดึงข้อความที่ยึดโยงกับเอนทิตีเหล่านั้น วิธีนี้ช่วยหยุดการหลงประเด็นทางความหมาย (semantic drift) คุณจะได้บริบท (context) ไม่ใช่แค่คำที่คล้ายกัน
GraphRAG สร้างยากกว่า RAG แบบมาตรฐาน คุณจำเป็นต้องมี:
- pipeline สำหรับการสกัดเอนทิตี (Entity extraction pipelines)
- การจำแนกความสัมพันธ์ (Relationship classification)
- โครงสร้างพื้นฐานสำหรับการจัดเก็บกราฟ (Graph storage infrastructure)
- เครื่องมือค้นหาแบบไฮบริด (Hybrid query engines)
ความเสี่ยงที่ใหญ่ที่สุดคือการบำรุงรักษา กราฟจะเสื่อมสภาพ (rot) หากคุณไม่คอยอัปเดต ผมเรียนรู้เรื่องนี้ด้วยบทเรียนราคาแพงในปี 2023 ผมเคยสร้างระบบ RAG สำหรับงานกฎหมายที่มีความแม่นยำสูง แต่ผมล้มเหลวในการสร้างกลไกการอัปเดตข้อมูล หกเดือนต่อมา ข้อมูลก็ล้าสมัย ความแม่นยำลดลงจาก 94% เหลือเพียง 71%
วิธีการสร้างให้ถูกต้อง:
- เริ่มต้นด้วยการจัดหมวดหมู่เอนทิตี (entity taxonomy) เลือกประเภทที่สำคัญมาประมาณ 20 ถึง 30 ประเภท
- ใช้การดึงข้อมูลแบบไฮบริด (hybrid retrieval) ตั้งแต่วันแรก ใช้กราฟสำหรับความสัมพันธ์ และใช้เวกเตอร์สำหรับหัวข้อ (topics)
- สร้าง pipeline สำหรับการบำรุงรักษาเป็นอันดับแรก วางแผนว่าเอกสารใหม่จะอัปเดตกราฟได้อย่างไร
- วัดผลสายการให้เหตุผล (reasoning chains) ติดตามว่าระบบต้องใช้กี่ขั้นตอนในการตอบคำถาม
หากคุณทำงานในด้านวิทยาศาสตร์ กฎหมาย หรือการแพทย์ ค่าใช้จ่ายในการบำรุงรักษานั้นคุ้มค่า แต่สำหรับคำถามที่พบบ่อย (FAQs) ทั่วไป RAG แบบมาตรฐานก็เพียงพอแล้ว
ลองถามตัวเองดูว่า: คำถามของคุณมีกี่เปอร์เซ็นต์ที่ถามถึงความสัมพันธ์? หากผู้ใช้มากกว่า 40% ถามว่าสิ่งต่างๆ เกี่ยวข้องกันอย่างไร คุณจำเป็นต้องใช้กราฟ
Optional learning community: https://t.me/GyaanSetuAi