Eksperyment pojedynczego programisty z trzema modelami Claude obniżył miesięczne koszty API o 35% i skrócił medianę opóźnienia zadań z 42 do 27 sekund. Kierując proste, mało niejednoznaczne zadania do taniego modelu Haiku, rutynowe prace do Sonnet, a najpotężniejszy Opus do problemów o wysokiej stawce, autor udowodnił, że nawyk stosowania „najlepszego modelu do wszystkiego” jest kosztowny.

Dlaczego routing miał znaczenie

Autor prowadzi autonomicznego agenta kodującego, który otrzymuje stały strumień zadań programistycznych – poprawki lint, dodawanie funkcji, przeglądy bezpieczeństwa i głębokie sesje debugowania. Przez miesiące agent wysyłał każde zapytanie do Opus, najbardziej zaawansowanego modelu Claude, zakładając, że wyższa jakość zawsze zrekompensuje cenę. Opus ma wysoką cenę za token, więc rachunki rosły bez kontroli.

Gdy autor wprowadził wielopoziomowy schemat routingu, wydatki spadły do 65% pierwotnego poziomu, a wykorzystanie Opus zmniejszyło się do 11% wszystkich zadań.

Jak działa system trójpoziomowy

Logika routingu opiera się na niejednoznaczności, a nie na liczbie linii kodu, których dotyczy zadanie. Autor zdefiniował trzy kategorie:

  • Haiku – zadania o niskiej niejednoznaczności i charakterze deterministycznym. Przykłady: poprawianie ostrzeżeń lint, zmiana nazw zmiennych, podsumowywanie plików logów. Poprawna odpowiedź to zazwyczaj pojedyncza linia kodu lub tekstu.
  • Sonnet – domyślny „koń roboczy”. Obsługuje implementację funkcji, rutynowe poprawki błędów i standardowe refaktoryzacje, gdzie problem jest jasny, ale rozwiązanie może wymagać kilku kroków.
  • Opus – praca o wysokiej stawce i dużej niejednoznaczności. Decyzje architektoniczne, audyty bezpieczeństwa, złożone sesje debugowania lub każde zadanie, w którym właściwa ścieżka nie jest jasna, a błąd może przerwać pipeline.

Statyczna tabela mapuje każde przychodzące zapytanie do odpowiedniego modelu na podstawie tych reguł. Autor próbował użyć „inteligentnego” modelu, który decydowałby o poziomie w locie, ale dodatkowe zużycie tokenów zniwelowało wszelkie oszczędności. Proste, statyczne reguły pokryły około 80% obciążenia, utrzymując system tanim i przewidywalnym.

Mechanizm bezpieczeństwa (eskalacja)

Tanie modele wciąż popełniają błędy. Aby zapobiec sytuacji, w której błędna odpowiedź Haiku lub Sonnet zakłóci proces budowania, system eskaluje zapytanie po dwóch niepowodzeniach, przekazując je do kolejnego poziomu. Ta siatka bezpieczeństwa pozwala wcześnie wykrywać błędy i zapewnia płynne działanie pipeline bez konieczności ręcznej interwencji.

Liczby, które mówią same za siebie

Po czterech tygodniach korzystania z trójpoziomowego routera, autor odnotował następujące zmiany:

  • Wydatki na API spadły do 65% pierwotnego kosztu (redukcja o 35%).
  • Medianny czas realizacji spadł z 42 do 27 sekund.
  • Wykorzystanie Opus zmniejszyło się z obsługi każdego zapytania do zaledwie 11% wszystkich zadań.

Te dane pokazują, że większość prac programistycznych można delegować do tańszych modeli bez zauważalnego spadku jakości, podczas gdy najtrudniejsze problemy wciąż mogą korzystać z większego okna kontekstowego modelu Opus.

Lekcje dla innych programistów

  1. Zaczynaj od dołu, nie od góry. Większość codziennych zadań programistycznych nie wymaga najpotężniejszego modelu. Ustawienie Sonnet jako domyślnego dla niejednoznacznych zadań przyniosło większe oszczędności niż przepuszczanie wszystkiego przez Haiku.
  2. Mierz trudność, a nie rozmiar. Jedno-liniowa poprawka błędu typu race condition może być trudniejsza niż refaktoryzacja całego pliku. Kieruj zadania na podstawie stopnia niejednoznaczności rozwiązania, a nie liczby zmienionych linii.
  3. Monitoruj wskaźnik eskalacji. Rosnąca liczba eskalacji sygnalizuje, że statyczne reguły przestały pasować do obciążenia. Dostosuj kategorie, zanim tanie modele zaczną powodować więcej awarii w pipeline.

Rezerwowanie najdroższego modelu dla najtrudniejszych problemów i pozostawienie reszty tańszym modelom sprawia, że programowanie wspomagane przez AI jest szybkie i przystępne cenowo. Prawdziwa zaleta tkwi w zdyscyplinowanej strategii routingu, która dopasowuje odpowiednie narzędzie do odpowiedniego zadania.