วิธีหยุดไม่ให้ AI ระบุข้อมูลจากการอนุมานว่าเป็นข้อเท็จจริง

เอเจนต์วิจัย AI มักจะผสมผสานข้อเท็จจริงเข้ากับการคาดเดา หน้าเว็บหนึ่งอาจระบุค่ามูลค่าตลาด จากนั้นเอเจนต์ก็สรุปว่าตลาดกำลังเติบโตอย่างรวดเร็ว ทั้งสองข้อความดูเหมือนกันในข้อความสุดท้าย การผสมผสานระหว่างข้อมูลและความคิดเห็นเช่นนี้เป็นเรื่องอันตราย

คุณไม่สามารถแก้ไขเรื่องนี้ได้ด้วยการเขียน Prompt ที่ดีขึ้น เพราะ Prompt ทำงานบนพื้นฐานของความน่าจะเป็น เมื่ออยู่ภายใต้ความกดดัน โมเดลจะทำการคาดเดา

ทางออกคือการปรับโครงสร้าง ย้ายการตัดสินใจจาก LLM ไปไว้ที่โค้ดของคุณแทน

แบ่งงานออกเป็นสองส่วน:

LLM ทำหน้าที่:

  • สกัดข้อกล่าวอ้าง (claims) จากหน้าเว็บ
  • สรุปเนื้อหา

โค้ดแบบ Deterministic ทำหน้าที่:

  • ให้คะแนนข้อกล่าวอ้าง
  • ตรวจสอบแหล่งที่มา (cross-check)
  • ระบุข้อกล่าวอ้างว่าเป็น FACT หรือ INFERENCE
  • ตัดสินว่าข้อมูลนั้นยังเป็นปัจจุบันหรือไม่

ข้อกล่าวอ้างจะได้รับป้ายกำกับ FACT ก็ต่อเมื่อเป็นไปตามกฎที่เข้มงวดเท่านั้น ตัวอย่างเช่น ต้องมาจากแหล่งข้อมูลที่เป็นอิสระต่อกันสองแหล่ง หรือมาจาก API อย่างเป็นทางการเพียงแหล่งเดียว นอกเหนือจากนี้จะถือว่าเป็น INFERENCE ทั้งหมด

ใช้ไพป์ไลน์นี้:

  1. PLAN: เปลี่ยนคำถามให้เป็น sub-queries
  2. HARVEST: ดึงข้อมูลจากหลายช่องทาง
  3. NORMALIZE: ใช้ LLM เพื่อสกัดข้อกล่าวอ้างที่มีโครงสร้าง นี่เป็นขั้นตอนเดียวที่ใช้ LLM
  4. CORROBORATE: จัดกลุ่มข้อกล่าวอ้างและนับจำนวนแหล่งข้อมูลที่เป็นอิสระต่อกัน
  5. SCORE: ใช้กฎเพื่อกำหนดป้ายกำกับ
  6. RENDER: แสดงข้อเท็จจริง การอนุมาน และข้อมูลที่ขาดหายไป

ความเป็นอิสระคือหัวใจสำคัญ บล็อกหนึ่งที่อ้างอิงจากอีกบล็อกหนึ่งไม่ถือว่าเป็นสองแหล่งข้อมูล คุณต้องมีโดเมนที่แตกต่างกันหรือใช้ API อย่างเป็นทางการเพื่อยืนยันข้อเท็จจริง

ทำตามกฎเหล่านี้เพื่อให้ได้เอเจนต์ที่เชื่อถือได้:

  • ใช้การยกระดับ (escalation): ลองค้นหาผ่านเว็บก่อน หากขั้นตอนแรกล้มเหลว จึงค่อยขยับไปใช้เครื่องมือค้นหาข่าวหรือการค้นหาทางวิชาการ
  • ติดตามความสดใหม่ (freshness): ระบุข้อมูลเก่าว่าเป็นข้อมูลที่ล้าสมัย (stale) อย่าปล่อยให้ข้อเท็จจริงเก่าผ่านไปในฐานะข้อมูลปัจจุบัน
  • แสดงช่องว่างของข้อมูล (surface gaps): ระบุสิ่งที่คุณไม่สามารถหาพบ ช่องว่างที่เงียบหายไปคือความล้มเหลว
  • รับประกันความสามารถในการทำซ้ำ (reproducibility): คำสั่งเดียวกันต้องให้ป้ายกำกับเดิมทุกครั้ง หากป้ายกำกับเปลี่ยน แสดงว่ามี LLM กำลังให้คะแนนข้อมูลอยู่ ให้เปลี่ยนการเรียกใช้ LLM นั้นเป็นฟังก์ชันแทน

วิธีนี้ช่วยให้โมเดลทำในสิ่งที่มันทำได้ดีที่สุด นั่นคือ การอ่านและสกัดข้อมูล มันช่วยป้องกันไม่ให้โมเดลเป็นผู้ตัดสินว่าอะไรคือความจริง

Source: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

Optional learning community: https://t.me/GyaanSetuAi