AI 라우팅의 판도라 상자
DeepMind는 모델 선택을 비용 인식형(cost-aware) 판도라 상자 문제로 다루는 프레임워크인 “Pandora’s Router”를 공개했습니다. 실제로 결과를 개선하는 정보에 대해서만 비용을 지불함으로써, 이 시스템은 전수 조사(exhaustive searches)와 대등한 결과를 유지하면서도 추론 비용을 대폭 절감합니다.
모델 선택이 공짜가 아닌 이유
프로덕션 파이프라인은 종종 모델을 선택하는 단계에 비용이 들지 않는다고 가정합니다. 실제로는 모델의 적합성을 추정하는 과정에서 컴퓨팅 자원, 메모리, 때로는 외부 데이터 호출 비용이 발생합니다. 빠르고 부정확한(noisy) 추정은 저렴하지만 잘못된 판단을 유도할 수 있으며, 정밀한 추정은 대개 더 작은 모델을 실행하거나 추가 컨텍스트를 가져와야 하므로 비용이 누적됩니다.
DeepMind의 논문은 이 딜레마를 재정의합니다. 각 후보 모델은 들어오는 쿼리에 대한 예상 성능인 “가치(value)”를 숨기고 있습니다. 이 프레임워크는 컨트롤러가 비용을 지불하고 해당 가치를 살짝 엿보게 하며, 추가적인 통찰이 더 이상 비용을 정당화하지 못하게 되면 지불을 중단하도록 합니다.
솔루션의 두 가지 구성 요소
Pandora’s Router – 각 요청에 대해 모델 가치의 더 정확한 추정치를 위해 비용을 지불할지 여부를 결정하는 중앙 집중식 엔진입니다. 이는 “예약 가격(reserve price)”, 즉 더 나은 추정치를 통해 얻을 수 있는 기대 이익이 수수료보다 낮아지는 임계값을 설정합니다. 예상 개선 사항이 예약 가격을 초과하면 엔진은 통찰력을 구매하고, 그렇지 않으면 이미 보유한 최선의 추측으로 진행합니다.
Pandora’s Bidder – 모델 마켓플레이스를 위한 분산형 대응 모델입니다. 독립적인 제공업체는 입찰을 제출하기 전에 자신의 가치 추정치를 정교화하기 위해 컴퓨팅 자원을 사용할지 여부를 결정합니다. 자체적인 예약 가격을 통해 정교화된 추정치가 승리할 가능성이 높을 때만 비용을 지출하도록 강제합니다.
두 부분 모두 동일한 원칙을 공유합니다: 기대 수익이 비용을 초과할 때만 정보에 비용을 지불합니다.
세 가지 도메인에서의 결과
저자들은 세 가지 워크로드에서 이 접근 방식을 테스트했습니다:
- 수학적 추론 – 다양한 정밀도를 가진 솔버(solver) 중에서 선택.
- 검색 증강 생성(RAG) – 서로 다른 지식 베이스 조회 전략 중 선택.
- 대규모 임베딩 모델 – 유사도 검색을 위한 최적의 인코더 선택.
Pandora’s Router는 모든 경우에서 정적 라우팅 규칙과 탐욕적 휴리스틱(greedy heuristics)을 능가했습니다. 가장 까다로운 시나리오에서도 대부분의 검사 비용을 피하면서 모든 모델을 전수 조사(brute-force scan)한 것과 동일한 품질을 보여주었습니다. 저자들은 “검사 비용의 대부분”이 절감되었다고 보고했으며, 이는 컴퓨팅 지출의 극적인 감소를 의미합니다.
AI 엔지니어링에 주는 시사점
- 라우팅 오버헤드를 무시하지 마십시오. 어떤 모델을 사용할지 결정하는 데는 측정 가능한 비용이 따릅니다.
- 예약 가격을 도입하십시오. 추가적인 통찰이 수수료만큼의 가치가 있는 시점에 대한 명확한 기준을 설정하십시오.
- 비용 인식형 라우팅을 채택하십시오. 모델 카탈로그가 늘어남에 따라 기대 이익과 비용 사이의 균형을 맞추는 결정 계층은 예산을 통제할 수 있게 해줍니다.
반론: 추가되는 복잡성
입찰 또는 라우팅 계층을 추가하면 트레이드오프(trade-offs)가 발생합니다. 팀은 예약 가격을 계산하는 로직을 유지 관리하고, 수수료 구조를 모니터링하며, 추가된 코드 경로가 병목 현상이 되지 않도록 보장해야 합니다. 모델이 몇 개 없는 소규모 배포의 경우, Pandora’s Router의 비용이 절감액보다 더 클 수 있습니다. 또한 이 프레임워크는 더 나은 추정치를 얻는 비용이 알려져 있고 안정적이라고 가정하는데, 이는 변동성이 큰 클라우드 가격 책정이나 스팟 인스턴스 중단 상황에서는 깨질 수 있는 가정입니다.
핵심 요약
모델 선택을 공짜 라우팅 단계가 아닌 경제적 결정으로 취급하십시오. Pandora’s Router는 절제되고 비용을 인식하는 접근 방식이 출력 품질을 희생하지 않으면서도 불필요한 컴퓨팅을 제거하여, AI 시스템을 확장 가능하고 재정적으로 지속 가능하게 유지할 수 있음을 보여줍니다.