Ящик Пандоры в маршрутизации ИИ

DeepMind представила «Pandora’s Router» — фреймворк, который рассматривает выбор модели как задачу «ящика Пандоры» с учетом затрат. Оплачивая только ту информацию, которая действительно улучшает результат, система резко сокращает расходы на инференс, сохраняя при этом качество на уровне исчерпывающего поиска.

Почему выбор модели не обходится бесплатно

В продуктовых пайплайнах часто предполагается, что этап выбора модели ничего не стоит. В реальности оценка пригодности модели потребляет вычислительные ресурсы, память, а иногда и требует внешних вызовов данных. Быстрая, зашумленная оценка дешева, но может ввести в заблуждение; точная оценка обычно требует запуска меньшей модели или получения дополнительного контекста, что в итоге суммируется в значительные затраты.

Статья DeepMind переосмысливает эту дилемму. Каждая модель-кандидат скрывает в себе «ценность» — её ожидаемую производительность на входящем запросе. Фреймворк позволяет контроллеру платить комиссию за возможность «подсмотреть» эту ценность и прекращать выплаты, как только дальнейшее уточнение перестает оправдывать свои затраты.

Две составляющие решения

  • Pandora’s Router — централизованный движок, который для каждого запроса решает, стоит ли платить за более точную оценку ценности модели. Он устанавливает «резервную цену» (reserve price): порог, ниже которого ожидаемая выгода от лучшей оценки не перевешивает комиссию. Если прогнозируемое улучшение превышает резервную цену, движок покупает информацию; в противном случае он использует лучшее имеющееся предположение.

  • Pandora’s Bidder — децентрализованный аналог для рынков моделей. Независимые провайдеры сами решают, стоит ли тратить вычислительные ресурсы на уточнение собственной оценки ценности перед подачей заявки. Их собственная резервная цена заставляет их тратиться только в том случае, если уточненная оценка с большой вероятностью позволит им победить.

Обе части основаны на одном принципе: тратить на информацию только тогда, когда ожидаемая отдача превышает её стоимость.

Результаты в трех областях

Авторы протестировали подход на трех типах задач:

  1. Математические рассуждения — выбор среди решателей с разной степенью точности.
  2. Генерация с дополненной выборкой (RAG) — выбор между различными стратегиями поиска по базе знаний.
  3. Масштабные модели эмбеддингов — выбор лучшего энкодера для поиска по сходству.

Pandora’s Router превзошла статические правила маршрутизации и жадные эвристики в каждом случае. В самых сложных сценариях она достигла качества полного перебора всех моделей, избежав при этом большинства затрат на проверку. Авторы сообщают о сохранении «большей части затрат на проверку», что подразумевает резкое сокращение расходов на вычисления.

Что это значит для AI-инженерии

  • Не игнорируйте накладные расходы на маршрутизацию. Решение о том, какую модель использовать, имеет измеримую цену.
  • Внедрите резервную цену. Установите четкий порог, определяющий, когда дополнительная информация стоит своей стоимости.
  • Переходите на маршрутизацию с учетом затрат. Слой принятия решений, балансирующий ожидаемую выгоду и расходы, помогает контролировать бюджет по мере роста каталогов моделей.

Контраргумент: дополнительная сложность

Добавление уровня торгов или маршрутизации влечет за собой компромиссы. Командам придется поддерживать логику расчета резервных цен, отслеживать структуру комиссий и следить за тем, чтобы дополнительный программный путь не стал «узким местом». Для небольших развертываний с использованием всего нескольких моделей Pandora’s Router может стоить дороже, чем она экономит. Фреймворк также предполагает, что стоимость более точной оценки известна и стабильна — это допущение может не сработать при волатильных ценах в облаке или прерывании работы спотовых инстансов.

Вывод

Относитесь к выбору модели как к экономическому решению, а не как к бесплатному этапу маршрутизации. Pandora’s Router показывает, что дисциплинированный подход с учетом затрат позволяет отсекать ненужные вычисления без ущерба для качества результатов, сохраняя масштабируемость и финансовую устойчивость ИИ-систем.