Ящик Пандори маршрутизації ШІ

DeepMind представила «Pandora’s Router» — фреймворк, який розглядає вибір моделі як задачу «ящика Пандори» з урахуванням витрат. Стягуючи плату лише за ту інформацію, яка фактично покращує результати, система суттєво скорочує витрати на інференс, зберігаючи при цьому якість результатів на рівні з вичерпним пошуком.

Чому вибір моделі не є безкоштовним

У виробничих конвеєрах (production pipelines) часто припускають, що етап вибору моделі нічого не коштує. Насправді оцінка придатності моделі споживає обчислювальні ресурси, пам'ять, а іноді й потребує звернень до зовнішніх даних. Швидка, але неточна оцінка є дешевою, проте може ввести в оману; точна оцінка зазвичай означає запуск меншої моделі або отримання додаткового контексту, що зрештою призводить до зростання витрат.

Стаття DeepMind переосмислює цю дилему. Кожна модель-кандидат приховує певну «цінність» — її очікувану продуктивність на конкретному запиті. Фреймворк дозволяє контролеру сплачувати комісію за можливість «підглянути» на цю цінність і припинити оплату, щойно подальші уточнення перестають виправдовувати свою вартість.

Дві складові рішення

  • Pandora’s Router — централізований механізм, який для кожного запиту вирішує, чи варто платити за точнішу оцінку цінності моделі. Він встановлює «резервну ціну»: поріг, нижче якого очікуваний приріст від кращої оцінки не перевищує вартість запиту. Якщо прогнозоване покращення перевищує резервну ціну, механізм купує інформацію; в іншому випадку він діє на основі найкращого вже наявного припущення.

  • Pandora’s Bidder — децентралізований аналог для маркетплейсів моделей. Незалежні постачальники самі вирішують, чи витрачати обчислювальні ресурси на уточнення власної оцінки цінності перед поданням ставки. Їхня власна резервна ціна змушує витрачати ресурси лише тоді, коли уточнена оцінка має високі шанси на перемогу.

Обидві частини базуються на одному принципі: витрачати на інформацію лише тоді, коли очікувана вигода перевищує її вартість.

Результати у трьох сферах

Автори протестували підхід на трьох типах навантаження:

  1. Математичне мислення — вибір серед розв'язувачів різної точності.
  2. Генерація з використанням пошуку (RAG) — вибір між різними стратегіями пошуку в базі знань.
  3. Масштабні моделі ембедінгів — вибір найкращого енкодера для пошуку за схожістю.

Pandora’s Router перевершив правила статичної маршрутизації та жадібні евристики в кожному випадку. У найскладніших сценаріях він досяг якості, порівняної з повним перебором (brute-force) усіх моделей, уникаючи при цьому більшості витрат на перевірку. Автори зазначають, що вдалося заощадити «більшу частину витрат на перевірку», що означає драматичне скорочення витрат на обчислення.

Що це означає для AI-інженерії

  • Не ігноруйте накладні витрати на маршрутизацію. Вибір моделі має вимірювану ціну.
  • Впроваджуйте резервну ціну. Встановіть чітку межу, коли додаткова інформація стає вартістю своєї ціни.
  • Переходьте на маршрутизацію з урахуванням витрат. Рівень прийняття рішень, який балансує очікувану вигоду та витрати, дозволяє контролювати бюджет у міру розширення каталогів моделей.

Контраргумент: додаткова складність

Додавання рівня ставок або маршрутизації несе певні компроміси. Командам доводиться підтримувати логіку розрахунку резервних цін, контролювати структуру комісій та стежити за тим, щоб додатковий шлях у коді не став «вузьким місцем». Для невеликих розгортань із кількома моделями Pandora’s Router може коштувати дорожче, ніж він економить. Фреймворк також передбачає, що вартість кращої оцінки є відомою та стабільною — це припущення може бути хибним за умов нестабільного ціноутворення в хмарах або переривань роботи spot-інстансів.

Висновок

Ставтеся до вибору моделі як до економічного рішення, а не як до безкоштовного етапу маршрутизації. Pandora’s Router демонструє, що дисциплінований підхід з урахуванням витрат дозволяє відсікати непотрібні обчислення без втрати якості результатів, роблячи системи ШІ масштабованими та фінансово стійкими.