เรากำหนดวงเงินเครดิตไว้ที่ 100 ดอลลาร์สำหรับฝูง AI agent จำนวน 10 ตัวของเรา และระบบ throttle ก็เริ่มทำงานทันทีในวันเดียวกัน โดยหยุดทุกงานใหม่จนกว่าเราจะขยายเพดานวงเงินขึ้น เหตุการณ์นี้แสดงให้เห็นว่าวงจรควบคุม (control loop) ทำงานทันทีเมื่อมีการใช้จ่ายเกินงบประมาณที่ตั้งไว้

ทำไมการกำหนดวงเงินเครดิตจึงสำคัญสำหรับฝูง AI agent

การรัน autonomous agent 10 ตัวบนเซิร์ฟเวอร์เครื่องเดียวจะสร้างการเรียกใช้ API อย่างต่อเนื่อง ซึ่งแต่ละครั้งจะถูกเรียกเก็บเงินตามจำนวน token ที่ใช้ไป บันทึก (logs) แบบดั้งเดิมจะบันทึกว่า agent ทำอะไรบ้าง เช่น คำสั่ง (queries), การตอบกลับ (responses) และเวลา (timestamps) แต่ไม่ได้บอกอะไรเลยเกี่ยวกับค่าใช้จ่ายที่เกิดขึ้นจากการกระทำเหล่านั้น เมื่อฝูง agent ขยายขนาดขึ้น ค่าใช้จ่ายที่มองไม่เห็นนี้อาจพุ่งสูงขึ้นอย่างรวดเร็วจนทำให้งบประมาณหมดลงก่อนที่จะมีใครสังเกตเห็น

เปลี่ยนบันทึก (logs) ให้เป็นบัญชีแยกประเภท (ledger)

ขั้นตอนแรกของเราคือการเลิกมองว่า logs เป็นเพียงข้อความธรรมดา แต่เริ่มปฏิบัติกับมันเหมือนเป็นบัญชีแยกประเภททางการเงิน ทุกรอบการทำงานของ agent — task → taking → done — จะสร้างรายการบันทึกบัญชี 3 รายการ:

  • Money – มูลค่า USD โดยประมาณที่คำนวณจากจำนวน token ของคำขอ (request)
  • Promises – งานที่ยังค้างอยู่ซึ่งถือเป็นหนี้สินที่รอการชำระ (standing liability) กล่าวคือ งานที่จะถูกเรียกเก็บเงินเมื่อเสร็จสิ้น
  • Labour – หน่วยงานที่ agent ได้ปฏิบัติจริง

แทนที่จะต้องใช้คำสั่ง grep ค้นหาคำว่า “error” ในไฟล์ log ตอนนี้เราสามารถรันคำสั่งสอบถามทางการเงินที่แท้จริงได้ เช่น “แสดงรายการ promises ทั้งหมดที่มีมูลค่า money รวมเกิน 100 ดอลลาร์” บัญชีแยกประเภทนี้ทำให้ต้นทุนที่ซ่อนอยู่สามารถมองเห็นและค้นหาได้

ระบบควบคุมแบบวงจรปิด (The closed-loop control system)

กลไกการจำกัดวงเงินเครดิตทำงานตามวงจร 4 ขั้นตอนที่รันอย่างต่อเนื่อง:

  1. Measure (วัดผล) – ในแต่ละรอบของ agent จะมีการเพิ่มบรรทัดลงในบันทึกการใช้จ่าย (spend log) โดยบันทึกการใช้ token และจำนวนเงินดอลลาร์ที่คำนวณได้
  2. Price (กำหนดราคา) – ระบบจะแปลงจำนวน token เป็น USD โดยใช้อัตราแลกเปลี่ยนปัจจุบัน
  3. Alert (แจ้งเตือน) – ระบบตรวจสอบจะเฝ้าดูงบประมาณแบบต่อเนื่อง (rolling budget) โดยสถานะจะเปลี่ยนจาก none (ไม่มีการเตือน) เป็น warn (ใกล้ถึงขีดจำกัด) และเป็น cap (ถึงขีดจำกัด)
  4. Throttle (จำกัดการทำงาน) – ประตูควบคุม (gate) จะอ่านสถานะปัจจุบันและระงับการส่งงานใหม่เมื่อสถานะเป็น cap

หน้าต่างงบประมาณเป็นแบบช่วงเวลา 5 ชั่วโมงแบบต่อเนื่อง (rolling five-hour period) หมายความว่าระบบจะดูการใช้จ่ายในช่วง 5 ชั่วโมงล่าสุดเสมอ ไม่ใช่ตามช่วงเวลาปฏิทินที่ตายตัว วิธีนี้ช่วยให้วงจรตอบสนองต่อกิจกรรมที่พุ่งสูงขึ้นเป็นช่วงๆ และป้องกันไม่ให้การใช้งานที่พุ่งสูงเพียงครั้งเดียวทำให้ฝูง agent ถูกล็อกไว้ตลอดไป

แดชบอร์ดที่แสดงเพียงยอดการใช้จ่ายอาจบอกเล่าเรื่องราวได้ แต่ throttle ที่อ่านตัวเลขนั้นแล้วสั่งหยุดการส่งงานต่างหากคือการควบคุมที่แท้จริง

ความยืดหยุ่นโดยการออกแบบ (Resilience by design)

ระบบควบคุมการใช้จ่ายที่กลายเป็นจุดอ่อนเพียงจุดเดียว (single point of failure) จะส่งผลเสียมากกว่าผลดี เราจึงสร้างระบบป้องกันไว้ 3 ชั้น:

  • Fails open – หากเครื่องมือจัดการงบประมาณขัดข้อง agent จะยังคงทำงานต่อไป การใช้จ่ายอาจไม่ถูกตรวจสอบ แต่ฝูง agent จะยังคงปฏิบัติงานได้
  • Manual bypass – ผู้ควบคุมสามารถสั่งข้าม (override) ระบบ throttle ผ่านช่องทางพิเศษ (priority channel) เพื่อให้งานสำคัญดำเนินต่อไปได้แม้จะถึงขีดจำกัดแล้ว
  • Auto-resume – เมื่อหน้าต่างเวลาแบบต่อเนื่องเลื่อนไปข้างหน้า ยอดการใช้จ่ายเก่าจะถูกตัดออกจากการคำนวณ เมื่อยอดรวมลดลงต่ำกว่าขีดจำกัด ประตูควบคุมจะเปิดออกโดยอัตโนมัติโดยไม่ต้องใช้มนุษย์เข้ามาจัดการ

การทดสอบ: วงเงิน 100 ดอลลาร์ เทียบกับการใช้จ่ายที่มีอยู่ 156 ดอลลาร์

เราเริ่มใช้งานระบบด้วยวงเงิน 100 ดอลลาร์ ในขณะที่กิจกรรมล่าสุดของฝูง agent มีการใช้จ่ายสะสมไปแล้ว 156 ดอลลาร์ ระบบ throttle ทำงานทันทีและหยุดงานใหม่ทั้งหมด เมื่อเราขยายเพดานเป็น 200 ดอลลาร์ ประตูควบคุมก็เปิดออกและงานก็ดำเนินต่อไปได้โดยไม่ต้องดำเนินการด้วยตนเองเพิ่มเติม

การทดลองนี้ยืนยันสองสิ่ง:

  1. วงจรควบคุมตอบสนองแบบเรียลไทม์ โดยไม่มีความล่าช้าระหว่างการตรวจพบการใช้เกินงบและการบังคับใช้กฎ
  2. ผู้ควบคุมสามารถปรับเปลี่ยนวงเงินได้ทันที ช่วยป้องกันการหยุดชะงักของงานที่ไม่สำคัญโดยไม่จำเป็น

บทสรุป: การปฏิบัติกับ logs ของ agent ให้เป็นเหมือนบัญชีแยกประเภททางการเงิน และการติดตั้งระบบ throttle แบบงบประมาณต่อเนื่อง (rolling-budget throttle) เข้ากับกระบวนการส่งงาน (dispatch pipeline) จะช่วยให้คุณมีเกราะป้องกันการใช้จ่ายเกินงบที่บังคับใช้ได้ทันที มันคือการควบคุมที่ราคาถูกและยืดหยุ่นซึ่งใช้งานได้จริงในปัจจุบัน ส่วนนโยบายที่ซับซ้อนกว่านี้สามารถเพิ่มเข้าไปภายหลังได้ แต่ลูปพื้นฐานนี้ควรเป็นด่านป้องกันแรกสำหรับฝูง AI agent ทุกประเภท