RAG Pipeline: คู่มือฉบับลุงสอนหลาน

เลิกถามให้ AI เดา แต่เริ่มให้ข้อมูลที่เป็นจริงกับมัน

คนส่วนใหญ่คิดว่า AI รู้ทุกอย่าง แต่มันไม่ได้รู้ขนาดนั้น มันรู้แค่สิ่งที่มันเรียนรู้มาระหว่างการฝึกฝน (training) เท่านั้น หากคุณถามข้อมูลส่วนตัวของบริษัท มันจะเกิดอาการ "หลอน" (hallucinate) และมันจะโกหกคุณอย่างมั่นใจ

Retrieval-Augmented Generation (RAG) คือวิธีแก้ปัญหานี้

แทนที่จะให้ AI ตอบจากความจำ ให้คุณทำตาม 3 ขั้นตอนนี้:

• Retrieval: ค้นหาเอกสารที่ถูกต้อง • Augmentation: เพิ่มเอกสารเหล่านั้นลงใน prompt ของคุณ • Generation: ให้ AI ตอบโดยอ้างอิงจากเอกสารเหล่านั้นเท่านั้น

การจะสร้างระบบ RAG ระดับใช้งานจริง (production-grade) คุณต้องการมากกว่าแค่สคริปต์ง่ายๆ แต่คุณต้องการวิศวกรรม (engineering)

นี่คือพิมพ์เขียวสำหรับระบบที่เชื่อถือได้:

  1. Data Preparation อย่าทำ embedding ทั้งเอกสาร ให้แบ่งเอกสารออกเป็นส่วนย่อยๆ (chunks) โดยใช้เทคนิค sliding window ขนาด 1000-1500 tokens และมีส่วนที่ซ้อนทับกัน (overlap) 200 tokens เพื่อรักษาบริบท (context) ให้ครบถ้วน

  2. The Storage Stack หลีกเลี่ยงโครงสร้างพื้นฐานใหม่ๆ ที่ซับซ้อน ให้ใช้ PostgreSQL ร่วมกับส่วนขยาย pgvector ซึ่งจะช่วยให้คุณจัดเก็บทั้งข้อมูลและ vector embeddings ไว้ในที่เดียวที่เชื่อถือได้

  3. Hybrid Search การค้นหาแบบ vector นั้นดีมากสำหรับเรื่องของแนวคิด (concepts) แต่ไม่ดีสำหรับการหาข้อเท็จจริงที่แม่นยำ ให้ใช้การค้นหาแบบ vector ร่วมกับการค้นหาด้วยคำสำคัญ (keyword search) เพื่อให้ได้ทั้งความหมายเชิงบริบท (semantic meaning) และความแม่นยำที่ตรงตัว

  4. Reranking การค้นหาแบบ vector นั้นรวดเร็วแต่อาจมีข้อมูลที่ไม่เกี่ยวข้องปนมา (noisy) ให้ใช้กระบวนการแบบสองขั้นตอน โดยใช้โมเดลที่ทำงานเร็วเพื่อหาผลลัพธ์ 20 อันดับแรก จากนั้นใช้ reranker ที่แม่นยำกว่าเพื่อเลือก 5 อันดับที่ดีที่สุด

  5. Preventing Hallucinations ใช้การป้องกัน 5 ชั้นนี้: • กำหนดขอบเขตการค้นหา (retrieval boundaries) ให้ชัดเจนใน prompt ของคุณ • ใช้การแสดงผลลัพธ์ในรูปแบบ JSON ที่มีโครงสร้าง • ตรวจสอบว่า AI ใช้หลักฐานที่ให้ไปจริงๆ • ใช้ระบบตรวจสอบความมั่นใจ (confidence gating) • บังคับให้ AI ระบุแหล่งอ้างอิง (citations)

RAG ไม่ใช่เวทมนตร์ แต่มันคือวิศวกรรม มันคือเรื่องของข้อมูลที่ชัดเจน รูปแบบที่พิสูจน์แล้ว และการวัดผลอย่างต่อเนื่อง

จงสร้างระบบที่ให้หลักฐาน ไม่ใช่การเดา

Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4

Optional learning community: https://t.me/GyaanSetuAi