การสืบค้นแบบไฮบริด (Hybrid Retrieval) และการสังเกตการณ์เอเจนต์ (Agent Observability)
ระบบ RAG ส่วนใหญ่ล้มเหลวเมื่อใช้งานจริง (production) สาเหตุไม่ได้มาจากโมเดลภาษา (language model) แต่ล้มเหลวที่ขั้นตอนการสืบค้น (retrieval)
ระบบไม่สามารถดึงข้อมูลส่วนย่อย (data chunk) ที่ถูกต้องออกมาได้ หรือดึงข้อมูลมาได้แต่กลับไปอยู่ที่ลำดับที่ 40 ทำให้ตัวสร้างคำตอบ (generator) มองไม่เห็นข้อมูลนั้นเลย และทีมของคุณก็ไม่มีทางรู้เลยว่าเกิดข้อผิดพลาดขึ้นที่ตรงไหน
สถาปัตยกรรมนี้จะช่วยแก้ปัญหาทั้งสองอย่างนี้
ทำตาม 3 ขั้นตอนนี้เพื่อผลลัพธ์ที่ดีขึ้น:
ใช้ Hybrid Retrieval รันทั้งการสืบค้นแบบ lexical BM25 และ dense semantic search ไปพร้อมกัน จากนั้นใช้ reciprocal rank fusion เพื่อรวมรายการผลลัพธ์เข้าด้วยกัน ผลการทดสอบ (benchmarks) แสดงให้เห็นว่าวิธีนี้ช่วยเพิ่มค่า Recall@5 ในข้อมูลประเภทข้อความและตารางได้ถึง 8 เปอร์เซ็นต์ เมื่อเทียบกับการใช้ BM25 เพียงอย่างเดียว
เพิ่ม Reranker Reranker คือวิธีที่ดีที่สุดในการเพิ่มความแม่นยำ (precision) โดยการใช้ cross-encoder กับผลลัพธ์ตัวเลือก (candidates) 50 ถึง 100 อันดับแรก ขั้นตอนนี้จะช่วยปรับปรุงผลลัพธ์ของคุณได้อย่างมีนัยสำคัญ
ให้ความสำคัญกับ Observability คุณจำเป็นต้องมี traces เพื่อค้นหาข้อผิดพลาดใน pipeline การสืบค้นข้อมูลของคุณ หากไม่มี traces คุณก็จะไม่สามารถแก้ไขระบบได้
สร้างระบบ RAG ของคุณด้วยมาตรฐานระดับ production เหล่านี้
แหล่งที่มา: https://dev.to/rishi_kora/hybrid-retrieval-and-agent-observability-a-production-rag-build-2h6p
ชุมชนแห่งการเรียนรู้ (ไม่บังคับ): https://t.me/GyaanSetuAi