Pandora's AI Model Routing Box
Nowa praca DeepMind proponuje ramy (framework) „Pandora’s Box”, które redukują narzut związany z routingiem nawet o 70%, zachowując przy tym niezmienioną wydajność zadań.
Dlaczego koszty routingu mają znaczenie
Gdy usługa otrzymuje zapytanie, często dysponuje zestawem modeli – niektóre są szybkie, ale mało precyzyjne, inne wolne, ale dokładne. Wybór najlepszego z nich wiąże się z kosztami obliczeniowymi i finansowymi. Zanim dowiesz się, który model będzie odpowiedni, musisz przeprowadzić szybki test, pobrać dane zewnętrzne lub wywołać narzędzie pomocnicze.
Analogia Pudełka Pandory
DeepMind mapuje problem routingu na klasyczną zagadkę Pudełka Pandory: każdy model jest zamkniętym pudełkiem skrywającym swoją wydajność w odniesieniu do bieżącego zapytania. Otwarcie pudełka zużywa zasoby, więc trzeba zdecydować, czy potencjalna korzyść uzasadnia poniesiony koszt. Framework formalizuje ten kompromis i oferuje dwa konkretne mechanizmy.
Pandora’s Router – scentralizowany decydent
Router najpierw uruchamia tani, mało precyzyjny estymator, aby ocenić potencjał modelu. Dopiero jeśli oczekiwana poprawa względem obecnego najlepszego modelu przekroczy z góry ustaloną „cenę rezerwową”, router płaci za dokładniejszą ocenę. Odmawiając sprawdzenia każdego modelu, router drastycznie obniża budżet na inspekcję, wciąż wyłapując opcję o najwyższej wydajności.
Pandora’s Bidder – zdecentralizowany rynek
W wariancie „bidder” każdy dostawca modelu decyduje, czy wydać pieniądze na samoocenę, która mogłaby przynieść mu kontrakt. Dostawcy składają oferty tylko wtedy, gdy spodziewają się, że szansa na wygraną przewyższy koszt oceny. Tworzy to rynek, na którym kosztowne ewaluacje odbywają się tylko wtedy, gdy potencjalny zysk jest wystarczająco wysoki.
Wyniki w trzech dziedzinach
Autorzy przetestowali oba mechanizmy w:
- Rozumowaniu matematycznym – wybór modelu, który najdokładniej rozwiązuje problem.
- Retrieval-augmented generation (RAG) – wybór systemu wyszukiwania, który dostarcza najbardziej istotny kontekst, zanim model językowy wygeneruje odpowiedź.
- Wybór embeddingów na dużą skalę – wybór enkodera, który zapewnia najlepszą reprezentację wektorową do wyszukiwania podobieństwa.
W każdym przypadku Pandora’s Router odnotował najniższy łączny wskaźnik kosztów i błędów (cost-plus-error), pokonując modele bazowe, które albo zawsze sprawdzają każdy model, albo nigdy go nie sprawdzają. System adaptuje się automatycznie: gdy koszty inspekcji rosną, sprawdza mniej modeli; gdy spadają, zwiększa intensywność kontroli. Raportowane oszczędności wynoszą od 30% do 70% wydatków na routing, bez mierzalnego spadku jakości zadań końcowych.
Wniosek: W miarę jak budżety na wnioskowanie (inference) rosną, decyzja o tym, kiedy przestać szukać lepszego modelu, staje się równie kluczowa, co sam wybór modelu. Pandora’s Box zmienia ukryty koszt w kontrolowaną dźwignię.