Pandora's AI Model Routing Box
Нова стаття DeepMind пропонує фреймворк «Pandora’s Box», який скорочує витрати на маршрутизацію до 70%, зберігаючи при цьому продуктивність виконання завдань на незмінному рівні.
Чому витрати на маршрутизацію мають значення
Коли сервіс отримує запит, він часто має набір моделей: одні швидкі, але грубі, інші — повільні, але точні. Вибір найкращої моделі потребує обчислювальних ресурсів і грошей. Вам потрібно провести швидке тестування, отримати зовнішні дані або викликати допоміжний інструмент, перш ніж ви зрозумієте, яка модель підходить.
Аналогія з ящиком Пандори
DeepMind переносить проблему маршрутизації на класичну загадку з ящиком Пандори: кожна модель — це закритий ящик, що приховує свою ефективність для поточного запиту. Відкриття ящика споживає ресурси, тому ви повинні вирішити, чи виправдає потенційна вигода витрати. Фреймворк формалізує цей компроміс і пропонує два конкретні механізми.
Pandora’s Router — централізований механізм прийняття рішень
Спочатку роутер запускає дешевий, але шумний оцінювач, щоб визначити потенціал моделі. Тільки якщо очікуване покращення порівняно з поточною найкращою моделлю перевищує встановлену «ціну резервування», він витрачає ресурси на точнішу оцінку. Відмовляючись перевіряти кожну модель, роутер суттєво скорочує бюджет на інспекцію, водночас знаходячи найкращий варіант.
Pandora’s Bidder — децентралізований ринок
У варіанті з учасниками торгів (bidder) кожен постачальник моделей сам вирішує, чи витрачати гроші на самооцінку, яка може принести контракт. Постачальники подають заявки лише тоді, коли очікують, що шанс на перемогу переважить вартість оцінювання. Це створює ринок, де дорогі оцінки проводяться лише тоді, коли потенційна вигода достатньо висока.
Результати у трьох сферах
Автори протестували обидва механізми на:
- Математичне мислення — вибір моделі, яка найточніше розв'язує задачу.
- Генерація з використанням пошуку (RAG) — вибір системи пошуку, яка надає найбільш релевантний контекст перед тим, як мовна модель згенерує відповідь.
- Вибір ембедінгів великого масштабу — вибір енкодера, який забезпечує найкраще векторне представлення для пошуку за схожістю.
У кожному випадку Pandora’s Router продемонстрував найнижчий показник сукупної вартості та помилки, перевершивши базові методи, які або завжди перевіряють кожну модель, або не перевіряють жодної. Система адаптується автоматично: коли витрати на інспекцію зростають, вона перевіряє менше моделей; коли вони падають — посилює контроль. Зафіксована економія становить від 30% до 70% витрат на маршрутизацію без помітного зниження якості виконання завдань.
Висновок: Оскільки бюджети на інференс стрімко зростають, рішення про те, коли припинити пошук кращої моделі, стає таким же важливим, як і вибір самої моделі. Pandora’s Box перетворює приховані витрати на керований важіль.