ส่วนที่ยากที่สุดของ AI Agent ไม่ใช่การลงมือทำ แต่คือการวางแผน

การสร้าง AI agent ที่ทำงานตามสั่งนั้นง่าย แต่การสร้างตัวที่วางแผนงานได้อย่างถูกต้องนั้นยาก

ผมสร้าง CLI ขึ้นมาตัวหนึ่งที่คุณสามารถพิมพ์ประโยคลงไป แล้ว LLM จะดำเนินการต่างๆ บนบัญชีจริงของคุณ โดยผมใช้สองโหมด คือ Direct mode และ Plan mode

Direct mode เน้นความเร็ว ส่วน Plan mode เน้นความปลอดภัย ใน Plan mode ตัว agent จะแสดงทุกขั้นตอนให้คุณดูก่อนที่จะเข้าไปแตะต้องข้อมูลของคุณ

และนี่คือวิธีที่ผมสร้างตัววางแผน (planner) ที่เชื่อถือได้:

• แยกสมองออกจากกัน Agent ตัวเดียวไม่สามารถทำทั้งการวางแผนและการลงมือทำได้พร้อมกัน Agent สำหรับวางแผนต้องการ "คิด" ส่วน Agent สำหรับลงมือทำต้องการ "ทำ" ผมจึงแยกพวกมันออกเป็นสอง agent ที่มี system prompt ต่างกัน เพื่อป้องกันไม่ให้พวกมันขัดแย้งกันเอง

• มอบดวงตาให้ Agent ตัววางแผนที่ใช้การเดาสุ่มนั้นอันตรายมาก ในเวอร์ชันแรกของผม มันสร้างแผนงานขึ้นมาจากข้อสันนิษฐาน แต่ตอนนี้ ตัววางแผนจะใช้เครื่องมือแบบ read-only เพื่อตรวจสอบข้อมูลของคุณก่อน มันจะดูฟิลด์ (fields) จริงๆ ใน Salesforce ก่อนที่จะเขียนขั้นตอนแรกออกมาเสียอีก

• เติมคำตอบไว้ล่วงหน้า บ่อยครั้งที่ Agent มักจะถามคำถามที่ไม่ดี และถ้าพวกมันถามมากเกินไป สุดท้ายคุณก็ต้องกลายเป็นคนทำงานแทนมันเสียเอง ผมจึงเปลี่ยนวิธีใหม่ โดยตัววางแผนจะยังคงถามคำถามอยู่ แต่จะมีการเสนอคำตอบที่แนะนำมาให้ด้วย คุณเพียงแค่กดยืนยันหรือปรับแต่งเล็กน้อย วิธีนี้ช่วยให้แผนงานมีความแม่นยำโดยที่คุณไม่ต้องคีย์ข้อมูลเองทั้งหมด

• ส่งต่อบริบท ไม่ใช่แค่รายการขั้นตอน หากคุณส่งแค่รายการขั้นตอนให้ตัวลงมือทำ (executor) มันจะสูญเสียเหตุผลเบื้องหลังไป ผมจึงทำให้ตัววางแผนส่งทั้งข้อสันนิษฐานและความเสี่ยงแนบไปพร้อมกับขั้นตอนต่างๆ ด้วย ทำให้ตอนนี้ตัวลงมือทำเข้าใจถึง "เหตุผล" (why) เบื้องหลังทุกการกระทำ

• ระบุจุดอันตราย แผนงานจะปลอดภัยก็ต่อเมื่อคุณมองเห็นความเสี่ยง ระบบของผมจะทำเครื่องหมายการกระทำที่ส่งผลกระทบสูง (destructive actions) เช่น การลบหรือการเปลี่ยนชื่อ เมื่อ agent มาถึงขั้นตอนที่อันตราย มันจะหยุดและถามคุณก่อน

• ใช้ข้อมูลเป็นตัวตัดสิน หาก agent คิดว่าขั้นตอนหนึ่งล้มเหลวและคุณสั่งให้มันลองใหม่ มันจะไม่ทำตามอย่างหลับหูหลับตา แต่มันจะตรวจสอบข้อมูลจริงบนแพลตฟอร์ม หากข้อมูลแสดงว่างานนั้นเสร็จสิ้นแล้ว Agent จะเชื่อข้อมูลมากกว่าคำสั่งของคุณ

ความจริงเกี่ยวกับความปลอดภัย: Plan mode ไม่ได้ช่วยป้องกัน prompt injection หรือป้องกันผู้ใช้ที่กด "approve" โดยไม่ได้ดู แต่มันเป็นการเปลี่ยนความรับผิดชอบจากการ "เชื่อใจโมเดล" ไปเป็นการ "เชื่อใจมนุษย์ในการตรวจสอบ" แทน

โครงสร้างระบบทำหน้าที่เป็นราวกันตก (guardrails) แต่การตรวจสอบของคุณคือความปลอดภัยขั้นสุดท้าย

Source: https://dev.to/abdullahsaad5/the-hard-part-of-my-ai-agent-wasnt-doing-the-work-it-was-planning-it-n0k

Optional learning community: https://t.me/GyaanSetuAi