𝗛𝘂𝗺𝗮𝗻-𝗶𝗻-𝘁𝗵𝗲-𝗟𝗼𝗼𝗽 𝗗𝗲𝘀𝗶𝗴𝗻 𝗳𝗼𝗿 𝗘𝗺𝗮𝗶𝗹 𝗔𝗴𝗲𝗻𝘁𝘀

คำขอคืนเงินเข้ามาในคิวสนับสนุนของคุณ AI agent ของคุณพบข้อมูลที่ตรงกับฐานความรู้ด้วยความมั่นใจ 91% แต่ถึงอย่างนั้น Agent ก็ไม่ควรส่งคำตอบนั้นออกไปทันที

ทีมส่วนใหญ่มองว่าการตรวจสอบโดยมนุษย์เป็นทางเลือกแบบง่ายๆ คือ ไม่ให้ AI ส่งอีเมลเองโดยลำพัง ก็ต้องให้มนุษย์ตรวจสอบทุกอย่าง ซึ่งทั้งสองวิธีล้วนล้มเหลว

การใช้ระบบอัตโนมัติเต็มรูปแบบนำไปสู่การตอบกลับที่แย่ซึ่งทำลายแบรนด์ของคุณ ส่วนการให้มนุษย์ตรวจสอบทั้งหมดก็ทำให้ AI กลายเป็นเพียงเครื่องมือสร้างร่างข้อความราคาแพงที่ไม่ช่วยประหยัดเวลาเลย

ให้ใช้ "ปุ่มหมุน" แทนที่จะเป็น "สวิตช์เปิด-ปิด" โดยกำหนดระดับของระบบอัตโนมัติตามประเภทของข้อความ

Gate 1: Knowledge Match ด่านนี้จะดูว่า AI มีความมั่นใจในคำตอบมากน้อยเพียงใด

• ความมั่นใจ 85% หรือสูงกว่า: ร่างคำตอบโดยตรงจากบทความ • ความมั่นใจ 60% ถึง 85%: ร่างคำตอบแต่ให้แนบลิงก์แหล่งที่มาเพื่อให้มนุษย์ตรวจสอบได้อย่างรวดเร็ว • ความมั่นใจต่ำกว่า 60%: ไม่ต้องร่างข้อความ ให้ทำเครื่องหมายเพื่อรอการตรวจสอบด้วยตนเอง

Gate 2: Risk Level ด่านนี้จะดูถึงผลกระทบหากเกิดความผิดพลาด โดยไม่สนใจคะแนนความมั่นใจ

• ความเสี่ยงต่ำ (การรีเซ็ตรหัสผ่าน, คำถามที่พบบ่อย): ร่างคำตอบเพื่อให้มนุษย์อนุมัติ • ความเสี่ยงปานกลาง (การคืนเงิน, การเปลี่ยนแปลงการเรียกเก็บเงิน): ร่างคำตอบแต่ต้องผ่านการตรวจสอบอย่างละเอียดจากมนุษย์ • ความเสี่ยงสูง (การข่มขู่ทางกฎหมาย, การฉ้อโกง): ไม่ต้องร่างข้อความ ให้ส่งต่อให้เจ้าหน้าที่ดูแลทันที

นี่คือเหตุผลว่าทำไมคำตอบเรื่องการคืนเงินที่มีความมั่นใจถึง 91% จึงไม่ถูกส่งออกไป ความมั่นใจบอกคุณว่า AI รู้คำตอบหรือไม่ ส่วนความเสี่ยงบอกคุณว่าอะไรจะเกิดขึ้นหาก AI ตอบผิด คุณต้องแยกสองแนวคิดนี้ออกจากกัน

กฎนั้นง่ายมาก: แสดงร่างข้อความให้เห็นก่อนส่งเสมอ และห้ามส่งแบบอัตโนมัติโดยเด็ดขาด

การตรวจสอบโดยมนุษย์ไม่ใช่ "ภาษี" ที่ต้องจ่าย แต่มันคือวิธีที่คุณรวบรวมข้อมูลที่จำเป็นเพื่อนำไปสู่การใช้ระบบอัตโนมัติที่มากขึ้นในอนาคต หากต้องการเปลี่ยนจากการ "ร่างและอนุมัติ" ไปสู่ "ระบบอัตโนมัติเต็มรูปแบบ" ให้ใช้ logs เพื่อพิสูจน์ความแม่นยำของคุณ อย่าใช้เพียงความรู้สึก

ลองจัดประเภทข้อความของคุณเข้าสู่ระดับความเสี่ยงทั้งสามระดับนี้ภายในสัปดาห์นี้ แล้วตัดสินใจว่าจุดไหนที่คุณกำลังตรวจสอบมากเกินความจำเป็น และจุดไหนที่คุณกำลังยอมรับความเสี่ยงมากเกินไป

Source: https://dev.to/qasim157/human-in-the-loop-design-for-email-agents-3fhc

Optional learning community: https://t.me/GyaanSetuAi