เลิก Fine-Tuning โมเดลของคุณได้แล้ว ปัญหาอยู่ที่สถาปัตยกรรมของคุณต่างหาก
งานเดโมดูดีเสมอ แต่ระบบที่ใช้งานจริง (Production) นั้นต่างออกไป และมีช่องว่างระหว่างสองสิ่งนี้อยู่
เดี๋ยวนี้ใครๆ ก็เรียกทุกอย่างว่าเป็น Agent กันหมด แชทบอทที่มีหน่วยความจำก็เป็น Agent สคริปต์ที่มีลูปก็เป็น Agent ความเข้าใจผิดนี้ทำให้เกิดข้อผิดพลาดทางวิศวกรรม คุณจะลงเอยด้วยการทำ Over-engineering กับงานง่ายๆ และทำ Under-engineering กับงานที่ซับซ้อน
Agent จำเป็นต้องมีวัตถุประสงค์ มันไม่ได้แค่ทำตามคำสั่ง แต่มันตัดสินใจได้ว่าจะทำอะไรต่อไป มันจัดการกับความล้มเหลวได้ และมันรู้ว่าเมื่อไหร่ควรหยุด
ใช้กฎเหล่านี้เพื่อตรวจสอบระบบของคุณ:
- หากมนุษย์ต้องคอยชี้นำในทุกขั้นตอน นั่นคือ Chat Interface
- หากมันสามารถกู้คืนสถานะจากการเรียกใช้ Tool ที่ล้มเหลวได้ นั่นคือ Agent
- หากมันสามารถย่อยเป้าหมายออกเป็นงานย่อยๆ (Subtasks) ได้ นั่นคือ Agent ที่แท้จริง
ทีมที่ประสบความสำเร็จไม่ได้วิ่งไล่ตามโมเดลใหม่ๆ แต่พวกเขาจะสร้าง Pipeline ที่เฉพาะเจาะจงและสร้างขึ้นเพื่อวัตถุประสงค์นั้นโดยเฉพาะ โดยมุ่งเน้นไปที่สามสิ่งนี้:
- Tool design: อินเทอร์เฟซสะอาดแค่ไหน?
- Failure handling: จะเกิดอะไรขึ้นเมื่อ Tool ไม่ส่งค่าใดๆ กลับมา?
- Observability: คุณสามารถติดตาม (Trace) ทุกการตัดสินใจได้หรือไม่?
Framework ที่คุณใช้มีความสำคัญน้อยกว่า Pattern ที่คุณมี ผมเคยสร้างสถาปัตยกรรมใหม่ด้วย Framework ที่หลากหลาย และผลลัพธ์ก็ยังคงเหมือนเดิม Framework เป็นเพียงนั่งร้าน แต่สถาปัตยกรรมคือตัวอาคาร
ทำตาม Pattern เหล่านี้:
- วางแผนแล้วค่อยลงมือทำ (Plan then execute): ใช้ขั้นตอนหนึ่งสำหรับการใช้เหตุผล (Reasoning) และอีกขั้นตอนหนึ่งสำหรับการลงมือทำ (Action)
- แยกการดึงข้อมูล (Retrieval) ออกจากการใช้เหตุผล (Reasoning): การดึง Context และการใช้ Context เป็นงานที่ต่างกัน
- ใช้การส่งต่องานที่ชัดเจน (Explicit handoffs): เมื่อ Agent ตัวหนึ่งส่งต่องานให้อีกตัวหนึ่ง ให้ใช้ Structured logs
RAG เป็นมาตรฐานทั่วไป แต่การทำ Chunking มักจะผิดพลาด หากคุณแบ่งเอกสารไม่ดี โมเดลจะสูญเสียบริบท (Context) ซึ่งนำไปสู่การเกิด Hallucination
หาก RAG Pipeline ของคุณให้ผลลัพธ์ที่ไร้ประโยชน์ ให้กลับไปดูที่การทำ Chunking และ Metadata อย่าไปโทษ Embedding model
ความท้าทายทางวิศวกรรมคือการสร้างระบบที่คุณสามารถไว้วางใจได้ ให้มุ่งเน้นไปที่ Governance, Observability และการใช้ Tool ที่เชื่อถือได้ อย่าเอาแต่ไล่ตาม Benchmark
วิศวกรที่เก่งที่สุดจะมุ่งเน้นไปที่การออกแบบระบบ พวกเขาจะสร้างระบบ AI ที่คนอื่นสามารถดูแลรักษาและไว้วางใจได้
Source: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg