Kimi K3 stracił impet, podczas gdy GPT-5.6-SOL przekroczył linię mety w trzech wymagających testach — problemie prawdopodobieństwa, scenariuszu z bezwładnością bloczka oraz zawiłym skrypcie Pythona dotyczącym pakowania plecaka. Ta różnica pokazuje, dlaczego budżetowanie tokenów i opóźnienia (latency) mają znaczenie, gdy potrzebujesz modelu zdolnego do rozumowania w wielokrokowych zadaniach z matematyki, fizyki i programowania bez zawieszania się.

Dlaczego ten benchmark jest ważny

Programiści i badacze często wybierają LLM na podstawie wyników podawanych w nagłówkach, a nie na podstawie tego, jak model zachowuje się pod presją rzeczywistych zastosowań. W tym porównawczym teście każdy model zmierzył się z problemem wymuszającym długi ciąg rozumowania. GPT-5.6-SOL dostarczył kompletne i poprawne odpowiedzi we wszystkich trzech dziedzinach; Kimi K3 wyczerpał swój budżet tokenów lub przekroczył limit czasu, zanim wygenerował cokolwiek użytecznego.

Konfiguracja testu

  • Matematyka – pytanie o prawdopodobieństwo, które wymagało obliczenia prawdopodobieństwa nakładania się wzorców oraz zarówno wartości oczekiwanej, jak i wariancji (momentów drugiego rzędu).
  • Fizyka – modelowanie bezwładności bloczka oraz utraty energii, gdy kabel napięty sprężyną luzuje się.
  • Programowanie – napisanie rozwiązania w Pythonie dla problemu pakowania plecaka z złożonymi zależnościami i zasadami rozstrzygania remisów, a następnie sprawdzenie wyniku za pomocą sześciu niezależnych przypadków testowych.

Co mówią liczby

GPT-5.6-SOL

  • Matematyka – wygenerował pełne, poprawne rozwiązanie z wyraźnie przedstawioną wartością oczekiwaną i wariancją.
  • Fizyka – poprawnie zbudował model bezwładności i uwzględnił utratę energii, co zgadzało się z odpowiedzią analityczną.
  • Programowanie – wygenerował kod, który skompilował się, uruchomił i przeszedł wszystkie sześć zewnętrznych testów. Wewnętrzna asercja testowa była błędna, co przypomina nam, że testy generowane przez modele nie są nieomylne.

Kimi K3

  • Matematyka – osiągnął limit tokenów (najpierw przy 6 500, potem przy 10 000) i zatrzymał się, nie pokazując żadnej odpowiedzi.
  • Fizyka – wyczerpał tokeny, zanim pojawił się jakikolwiek widoczny wynik.
  • Programowanie – przekroczył limit czasu po 245 sekundach, nie dostarczając nic do oceny.

Wydajność rozumowania vs. surowa moc

Wniosek dla każdego, kto buduje potoki produkcyjne, jest jasny: model, który zużywa tokeny bez dostarczania wyników, może wstrzymać procesy w dalszej części potoku, zwiększyć koszty i sfrustrować użytkowników.

Niezawodność i ukryty koszt „idealnego” kodu

Nawet zwycięski model popełnił błąd: wygenerowany przez GPT-5.6-SOL przypadek testowy zawierał błędną asercję. Pokazuje to, że walidacja produkowana przez model nie jest substytutem ludzkiej weryfikacji. Gdy model pisze kod, nadal musisz przeprowadzać niezależne kontrole.

Na co zwrócić uwagę w przyszłości

  • Śledzenie powodu zakończenia (finish reason) – loguj, czy odpowiedź kończy się z powodu osiągnięcia limitu tokenów, przekroczenia czasu (timeout) czy naturalnego zakończenia.
  • Liczba tokenów rozumowania – porównuj, ile tokenów każdy model zużywa na wewnętrzne rozważania w stosunku do końcowego wyniku.
  • Monitorowanie opóźnień (latency) – mierz czas rzeczywisty dla każdego kroku; model, który potrzebuje minut na zapytanie, może nie nadawać się do aplikacji interaktywnych.

Programiści powinni traktować te metryki jako kluczowe sygnały, a nie tylko jako dodatek do końcowej odpowiedzi.

Podsumowanie

GPT-5.6-SOL przewyższa Kimi K3 pod względem kompletności. Test przypomina nam również, że nawet model, który „ma rację”, może generować wadliwe wewnętrzne kontrole, dlatego nadzór ludzki pozostaje niezbędny. Śledzenie powodów zakończenia, zużycia tokenów i opóźnień pomoże Ci wybrać odpowiednie narzędzie do zadania, unikając „cichego” przekroczenia limitu czasu.