กล่องแพนโดราแห่งการทำ AI Routing

DeepMind เปิดตัว “Pandora’s Router” ซึ่งเป็นเฟรมเวิร์กที่มองว่าการเลือกโมเดล (model-selection) เป็นปัญหาแบบกล่องแพนโดราที่ต้องคำนึงถึงต้นทุน (cost-aware Pandora’s-Box problem) ด้วยการจ่ายเงินเฉพาะสำหรับข้อมูลที่ช่วยปรับปรุงผลลัพธ์ได้จริงเท่านั้น ระบบนี้จึงช่วยลดค่าใช้จ่ายในการทำ inference ลงอย่างมาก ในขณะที่ยังคงรักษาคุณภาพของผลลัพธ์ให้เทียบเท่ากับการค้นหาแบบละเอียดถี่ถ้วน (exhaustive searches)

ทำไมการเลือกโมเดลถึงไม่ฟรี

ในขั้นตอนการทำงานจริง (Production pipelines) มักจะทึกทักเอาว่าขั้นตอนการเลือกโมเดลนั้นไม่มีต้นทุน แต่ในความเป็นจริง การประเมินความเหมาะสมของโมเดลต้องใช้ทั้งพลังการประมวลผล (compute), หน่วยความจำ (memory) และบางครั้งก็ต้องมีการเรียกใช้ข้อมูลจากภายนอก การประเมินแบบเร็วๆ ที่มีความคลาดเคลื่อนสูง (noisy estimate) นั้นมีราคาถูก แต่อาจทำให้ตัดสินใจผิดพลาดได้ ส่วนการประเมินที่แม่นยำมักหมายถึงการต้องรันโมเดลขนาดเล็กหรือการดึงบริบท (context) เพิ่มเติม ซึ่งล้วนส่งผลให้ต้นทุนสะสมเพิ่มขึ้น

งานวิจัยของ DeepMind ได้ปรับมุมมองต่อปัญหาความยุ่งยากนี้ใหม่ โดยมองว่าโมเดลแต่ละตัวที่ถูกเสนอมานั้นมี "มูลค่า" (value) ซ่อนอยู่ ซึ่งก็คือประสิทธิภาพที่คาดหวังได้จากคำถาม (query) ที่ส่งเข้ามา เฟรมเวิร์กนี้ช่วยให้ตัวควบคุม (controller) สามารถจ่ายค่าธรรมเนียมเพื่อแอบดูมูลค่าดังกล่าว และจะหยุดจ่ายทันทีเมื่อการหาข้อมูลเพิ่มเติมนั้นไม่คุ้มค่ากับต้นทุนที่เสียไป

สองส่วนประกอบของโซลูชัน

  • Pandora’s Router – เอนจินส่วนกลางที่จะตัดสินใจในแต่ละคำขอ (request) ว่าควรจะจ่ายเงินเพื่อประเมินมูลค่าของโมเดลให้แม่นยำยิ่งขึ้นหรือไม่ โดยจะมีการตั้ง "ราคาขั้นต่ำ" (reserve price) ซึ่งเป็นเกณฑ์ที่หากผลประโยชน์ที่คาดว่าจะได้รับจากการประเมินที่ดีขึ้นนั้นไม่คุ้มกับค่าธรรมเนียม ระบบก็จะไม่จ่าย หากการปรับปรุงที่คาดการณ์ไว้สูงกว่าราคาขั้นต่ำ เอนจินจะทำการซื้อข้อมูลเชิงลึกนั้น แต่ถ้าไม่ถึง เอนจินจะดำเนินการต่อด้วยการคาดเดาที่ดีที่สุดที่มีอยู่เดิม

  • Pandora’s Bidder – ส่วนประกอบแบบกระจายศูนย์ (decentralized) สำหรับตลาดโมเดล (model marketplaces) โดยผู้ให้บริการอิสระจะเป็นผู้ตัดสินใจเองว่าจะใช้พลังการประมวลผลเพื่อทำให้การประเมินมูลค่าของตนแม่นยำขึ้นก่อนที่จะยื่นประมูลหรือไม่ ราคาขั้นต่ำของพวกเขาเองจะช่วยบังคับให้มีการใช้จ่ายก็ต่อเมื่อการประเมินที่ปรับปรุงแล้วนั้นมีโอกาสที่จะชนะการประมูลเท่านั้น

ทั้งสองส่วนใช้หลักการเดียวกันคือ: จะจ่ายเงินเพื่อข้อมูลก็ต่อเมื่อผลตอบแทนที่คาดหวังนั้นสูงกว่าต้นทุนเท่านั้น

ผลลัพธ์ในสามโดเมน

ผู้เขียนได้ทดสอบแนวทางนี้กับภาระงาน (workloads) สามรูปแบบ:

  1. Mathematical reasoning – การเลือกท่ามกลางตัวแก้ปัญหา (solvers) ที่มีความแม่นยำต่างกัน
  2. Retrieval-augmented generation (RAG) – การเลือกระหว่างกลยุทธ์การค้นหาฐานความรู้ที่แตกต่างกัน
  3. Large-scale embedding models – การเลือก encoder ที่ดีที่สุดสำหรับการค้นหาความคล้ายคลึง (similarity search)

Pandora’s Router สามารถเอาชนะกฎการกำหนดเส้นทางแบบคงที่ (static routing rules) และวิธีแบบ greedy heuristics ได้ในทุกกรณี ในสถานการณ์ที่ยากที่สุด มันสามารถทำคุณภาพได้เทียบเท่ากับการสแกนโมเดลทั้งหมดแบบ brute-force ในขณะที่หลีกเลี่ยงต้นทุนในการตรวจสอบส่วนใหญ่ได้ ผู้เขียนรายงานว่าสามารถประหยัด "ต้นทุนในการตรวจสอบส่วนใหญ่" ซึ่งหมายถึงการลดค่าใช้จ่ายในการประมวลผลลงอย่างมหาศาล

สิ่งนี้หมายถึงอะไรสำหรับวิศวกรรม AI

  • อย่าละเลยค่าใช้จ่ายส่วนเกิน (overhead) ของการทำ routing การตัดสินใจว่าจะใช้โมเดลใดนั้นมีต้นทุนที่วัดผลได้
  • กำหนดราคาขั้นต่ำ (reserve price) ตั้งเกณฑ์ที่ชัดเจนว่าเมื่อใดที่ข้อมูลเชิงลึกเพิ่มเติมจะคุ้มค่ากับค่าธรรมเนียม
  • นำการทำ cost-aware routing มาใช้ เลเยอร์การตัดสินใจที่สร้างสมดุลระหว่างผลประโยชน์ที่คาดหวังกับค่าใช้จ่าย จะช่วยควบคุมงบประมาณได้เมื่อรายการโมเดล (model catalogs) มีจำนวนมากขึ้น

ข้อโต้แย้ง: ความซับซ้อนที่เพิ่มขึ้น

การเพิ่มเลเยอร์การประมูลหรือการทำ routing นำมาซึ่งสิ่งที่ต้องแลกเปลี่ยน (trade-offs) ทีมงานต้องดูแลรักษาตรรกะที่ใช้คำนวณราคาขั้นต่ำ ตรวจสอบโครงสร้างค่าธรรมเนียม และตรวจสอบให้แน่ใจว่าเส้นทางการทำงานของโค้ด (code path) ที่เพิ่มขึ้นมาจะไม่กลายเป็นคอขวด สำหรับการใช้งานขนาดเล็กที่มีโมเดลเพียงไม่กี่ตัว Pandora’s Router อาจมีต้นทุนสูงกว่าสิ่งที่ประหยัดได้ นอกจากนี้ เฟรมเวิร์กนี้ยังตั้งสมมติฐานว่าต้นทุนของการประเมินที่ดีขึ้นนั้นเป็นที่ทราบแน่ชัดและคงที่ ซึ่งเป็นสมมติฐานที่อาจใช้ไม่ได้หากราคาคลาวด์มีความผันผวนหรือมีการขัดจังหวะของ spot-instance

บทสรุป

จงมองว่าการเลือกโมเดลคือการตัดสินใจทางเศรษฐศาสตร์ ไม่ใช่ขั้นตอนการทำ routing ที่ไม่มีต้นทุน Pandora’s Router แสดงให้เห็นว่าแนวทางที่มีวินัยและคำนึงถึงต้นทุนสามารถตัดการประมวลผลที่ไม่จำเป็นออกไปได้โดยไม่สูญเสียคุณภาพของผลลัพธ์ ช่วยให้ระบบ AI สามารถขยายขนาดได้ (scalable) และมีความยั่งยืนทางการเงิน