Pandora's AI Model Routing Box
งานวิจัยใหม่ของ DeepMind นำเสนอกรอบการทำงาน (framework) ที่เรียกว่า “Pandora’s Box” ซึ่งช่วยลดภาระงานส่วนเกิน (overhead) ในการจัดเส้นทาง (routing) ได้สูงสุดถึง 70% โดยที่ประสิทธิภาพในการทำงานยังคงเดิม
ทำไมต้นทุนการจัดเส้นทางจึงมีความสำคัญ
เมื่อบริการได้รับคำขอ (request) มักจะมีตัวเลือกโมเดลที่หลากหลาย—บางตัวทำงานเร็วแต่ความแม่นยำต่ำ บางตัวทำงานช้าแต่มีความแม่นยำสูง การเลือกโมเดลที่ดีที่สุดนั้นมีต้นทุนทั้งในด้านการประมวลผล (compute) และค่าใช้จ่าย คุณจำเป็นต้องทำการทดสอบอย่างรวดเร็ว ดึงข้อมูลจากภายนอก หรือเรียกใช้เครื่องมือช่วย (helper tool) ก่อนที่จะทราบว่าโมเดลใดเหมาะสมที่สุด
การเปรียบเทียบกับกล่องแพนโดรา (Pandora’s Box)
DeepMind ได้เปรียบเทียบปัญหาการจัดเส้นทางเข้ากับปริศนากล่องแพนโดราอันโด่งดัง: โมเดลแต่ละตัวเปรียบเสมือนกล่องที่ปิดสนิทซึ่งซ่อนประสิทธิภาพในการตอบคำถามปัจจุบันเอาไว้ การเปิดกล่องแต่ละครั้งต้องใช้ทรัพยากร ดังนั้นคุณจึงต้องตัดสินใจว่าผลประโยชน์ที่อาจได้รับนั้นคุ้มค่ากับค่าใช้จ่ายที่เสียไปหรือไม่ กรอบการทำงานนี้ได้กำหนดรูปแบบการแลกเปลี่ยน (trade-off) นี้ให้เป็นทางการ และนำเสนอกลไกที่เป็นรูปธรรมสองประการ
Pandora’s Router – ผู้ตัดสินใจแบบรวมศูนย์
ตัวจัดเส้นทาง (router) จะเริ่มจากการใช้ตัวประมาณค่า (estimator) ที่ราคาถูกและมีความคลาดเคลื่อนสูงเพื่อประเมินศักยภาพของโมเดล หากการปรับปรุงที่คาดหวังเมื่อเทียบกับโมเดลที่ดีที่สุดในขณะนั้นมีค่าสูงกว่า "ราคาจอง" (reservation price) ที่กำหนดไว้เท่านั้น มันจึงจะยอมจ่ายเพื่อการประเมินที่แม่นยำยิ่งขึ้น การปฏิเสธที่จะตรวจสอบทุกโมเดลช่วยให้ตัวจัดเส้นทางสามารถลดงบประมาณในการตรวจสอบลงได้อย่างมหาศาล ในขณะที่ยังคงสามารถค้นหาตัวเลือกที่มีประสิทธิภาพสูงสุดได้
Pandora’s Bidder – ตลาดแบบกระจายศูนย์
ในรูปแบบ Bidder ผู้ให้บริการโมเดลแต่ละรายจะเป็นผู้ตัดสินใจเองว่าจะยอมจ่ายเงินเพื่อทำการประเมินตนเอง (self-assessment) เพื่อโอกาสในการชนะสัญญาหรือไม่ ผู้ให้บริการจะยื่นข้อเสนอ (bid) ก็ต่อเมื่อพวกเขาคาดว่าโอกาสในการชนะนั้นจะคุ้มค่ากับต้นทุนในการประเมิน สิ่งนี้ทำให้เกิดตลาดที่การประเมินราคาแพงจะเกิดขึ้นก็ต่อเมื่อผลตอบแทนนั้นสูงเพียงพอเท่านั้น
ผลลัพธ์ในสามโดเมน
ผู้เขียนได้ทดสอบทั้งสองกลไกในด้านต่างๆ ดังนี้:
- การใช้เหตุผลทางคณิตศาสตร์ (Math reasoning) – การเลือกโมเดลที่แก้ปัญหาได้อย่างแม่นยำที่สุด
- การสร้างคำตอบโดยใช้ข้อมูลประกอบ (Retrieval-augmented generation หรือ RAG) – การเลือกระบบการดึงข้อมูล (retrieval system) ที่ให้บริบทที่เกี่ยวข้องมากที่สุดก่อนที่โมเดลภาษาจะสร้างคำตอบ
- การเลือก embedding ขนาดใหญ่ (Large-scale embedding selection) – การเลือก encoder ที่ให้การแทนค่าด้วยเวกเตอร์ (vector representation) ที่ดีที่สุดสำหรับการค้นหาความคล้ายคลึง (similarity search)
ในทุกกรณี Pandora’s Router สามารถทำค่าดัชนีรวมระหว่างต้นทุนและความผิดพลาด (cost-plus-error metric) ได้ต่ำที่สุด โดยเอาชนะเกณฑ์มาตรฐาน (baselines) ที่ต้องตรวจสอบทุกโมเดลเสมอ หรือกลุ่มที่ไม่ตรวจสอบเลย ระบบนี้สามารถปรับตัวได้โดยอัตโนมัติ: เมื่อต้นทุนการตรวจสอบสูงขึ้น ระบบจะตรวจสอบโมเดลน้อยลง และเมื่อต้นทุนลดลง ระบบจะเพิ่มความเข้มงวดในการตรวจสอบมากขึ้น ผลการรายงานระบุว่าสามารถประหยัดค่าใช้จ่ายในการจัดเส้นทางได้ตั้งแต่ 30% ถึง 70% โดยไม่มีการลดลงของคุณภาพงานในขั้นตอนถัดไป (downstream task) ที่วัดผลได้
บทสรุป: เมื่องบประมาณในการประมวลผล (inference) เพิ่มสูงขึ้น การตัดสินใจว่า เมื่อใด ควรหยุดค้นหาโมเดลที่ดีกว่าจึงมีความสำคัญพอๆ กับการเลือกตัวโมเดลเอง Pandora’s Box เปลี่ยนค่าใช้จ่ายที่ซ่อนอยู่ให้กลายเป็นกลไกที่ควบคุมได้