เลิกบอกให้ AI ของคุณ "ระมัดระวัง" ได้แล้ว

เลิกบอกให้ AI ของคุณระมัดระวังได้แล้ว เพราะมันไม่มีความจำของเมื่อวาน

ครั้งหนึ่งผมเคยสร้างไฟล์กฎเกณฑ์ขนาดมหึมาเพื่อป้องกันไม่ให้ AI agent ทำผิดพลาด ผมคอยเพิ่มคำสั่งเข้าไปทุกครั้งที่มันล้มเหลว จนไฟล์นั้นขยายใหญ่ถึง 56,000 ตัวอักษร แล้วหลังจากนั้น agent ก็หยุดทำงานไปเลย

ผมกระจายความสนใจของมันจนเบาบางเกินไป ผมจึงตัดกฎเกณฑ์ลงเหลือเพียง 1,200 ตัวอักษร ปรากฏว่า agent ทำงานได้ดีขึ้นด้วยกฎที่น้อยลง

ผมได้บทเรียนราคาแพง การเพิ่มกฎเกณฑ์ไม่ใช่หนทางในการสร้าง AI ที่เชื่อถือได้

คนส่วนใหญ่ปฏิบัติกับ AI เหมือนกับเพื่อนร่วมงานที่เป็นมนุษย์ พวกเขาคิดว่าการแก้ไขในวันนี้จะช่วย AI ในวันพรุ่งนี้ แต่ AI นั้นเป็น stateless (ไม่มีสถานะ) ทุกเซสชันเริ่มต้นใหม่เสมอ มันไม่จดจำคำสั่งสอนก่อนหน้านี้ของคุณ

มีความแตกต่างอย่างมากระหว่าง "การรู้กฎ" กับ "การปฏิบัติตามกฎ"

การใส่กฎลงใน prompt เป็นเพียงแค่การแนะนำ โมเดลจะเห็นกฎนั้น แต่อาจจะเพิกเฉยเพื่อทำงานให้เสร็จ หากคุณต้องการให้ agent หยุด อย่าพยายามเขียนประโยคให้ดีขึ้น แต่จงสร้าง "ประตูกั้น" (physical gate) ในโค้ดของคุณ ใช้สคริปต์ที่จะปฏิเสธการทำงานต่อไปจนกว่าการตรวจสอบจะผ่าน

เลิกถามว่าจะทำให้ AI แม่นยำขึ้นได้อย่างไร แต่เริ่มถามว่าจะทำให้ความผิดพลาดมีต้นทุนต่ำลงได้อย่างไร

ข้อมูลแสดงให้เห็นว่าความแม่นยำเพียงอย่างเดียวนั้นไม่พอ: • มีเพียง 4% ของบริษัทที่กล่าวว่า generative AI ทำงานได้เกินความคาดหมาย (JUAS) • มีเพียง 5% ของโครงการนำร่อง AI ในระดับองค์กรที่ไปถึงขั้นใช้งานจริง (MIT) • ผู้ใช้ AI ส่วนใหญ่กลับต้องทำงานล่วงเวลามากขึ้น ไม่ใช่ลดลง (Persol)

ผู้ชนะไม่ใช่คนที่มีโมเดลแม่นยำกว่า แต่คือคนที่มีโครงสร้างที่ดีกว่า

จงใช้ 3 รูปแบบนี้แทนการเขียนกฎเพิ่ม:

  • ใช้ความเห็นที่ไม่ตรงกันเป็นสัญญาณ: รันงานเดียวกันผ่านโมเดลที่แตกต่างกัน 3 ตัว หากพวกมันให้ผลลัพธ์ไม่ตรงกัน ให้ส่งงานนั้นไปให้มนุษย์ตรวจสอบ หากพวกมันเห็นตรงกัน ก็ส่งงานออกไปได้เลย
  • กำหนดเกณฑ์การส่งต่อปัญหา (escalation criteria): กำหนดจุดสิ้นสุดที่ชัดเจนให้กับ agent หากมันไม่สามารถแก้ปัญหาได้ภายในสองนาที ให้สั่งให้มันหยุดและขอความช่วยเหลือจากมนุษย์
  • มอบหน้าที่ที่เฉพาะเจาะจงให้กับ agent: อย่ามอบหมายงานแบบคลุมเครือว่าให้ "ช่วยงาน" แต่จงให้งานที่เฉพาะเจาะจงเพียงอย่างเดียว เช่น การร่างรายงานการประชุม งานที่แคบลงหมายความว่าหากเกิดความผิดพลาด ผลกระทบก็จะน้อยลงด้วย

แนวป้องกัน (guardrails) ที่แท้จริงไม่ได้มีไว้เพื่อทำให้คุณช้าลง แต่มีไว้เพื่อให้คุณไปได้เร็วขึ้น เพราะคุณรู้แน่ชัดว่า agent จะต้องหยุดตรงไหน

เลิกสั่งสอน AI ของคุณ แต่จงสร้างโครงสร้างที่ทำงานได้แม้ในยามที่ AI ทำผิดพลาด

ที่มา: https://dev.to/nomurasan/stop-telling-your-ai-to-be-careful-next-time-it-has-no-memory-of-yesterday-i6c

ชุมชนแห่งการเรียนรู้เพิ่มเติม: https://t.me/GyaanSetuAi