Nowa metoda ABSeeker „Answer-Backtracked Credit Assignment” (ABC) pozwala agentom wyszukiwania o długim horyzoncie na przypisywanie zasług za każdy poszczególny krok, a nie tylko za końcową odpowiedź, dzięki czemu model o 4 miliardach parametrów wytrenowany tą metodą może już dorównać znacznie większym konkurentom lub ich przewyższyć.

Ten przełom jest istotny, ponieważ większość istniejących agentów jest oceniana dopiero na końcu zadania. Jeśli końcowa odpowiedź jest poprawna, cały przebieg zostaje uznany za dobry; jeśli jest błędna, cała sekwencja zostaje uznana za złą. Taka informacja zwrotna typu „wszystko albo nic” ukrywa rzeczywisty sygnał uczenia się – dobre ruchy, po których nastąpił błąd, lub bezużyteczne kliknięcia, które szczęśliwie doprowadziły do właściwego wyniku. Podejście ABSeeker zmienia te zasady.

Dlaczego stara metoda nie wystarcza

Gdy agent przeszukuje informacje, pisze kod lub gromadzi dowody, zazwyczaj podejmuje wiele działań: wysyła zapytania, otwiera strony, uruchamia polecenia, sprawdza stan systemu i tak dalej. W piętnastostopniowym przebiegu jeden błąd może przekreślić końcową odpowiedź, mimo że poprzednie kroki były poprawne. Z drugiej strony, przebieg kończący się poprawną odpowiedzią mógł opierać się na czystym przypadku, a większość kroków nie wniosła żadnej wartości. Trenowanie wyłącznie na podstawie końcowego wyniku zmusza model do traktowania całej trajektorii jako pojedynczej „czarnej skrzynki”, co utrudnia naukę tego, które zachowania cząstkowe są faktycznie użyteczne.

Sytuacja ta przypomina debugowanie w inżynierii oprogramowania. Programiści śledzą każdą linię, izolują wadliwe wywołanie i je naprawiają. Agentom nie dawano jednak porównywalnego „rejestru” ich wewnętrznej pracy. Bez takiego śladu audytowego programiści nie mogą stwierdzić, czy poprawa wynika z lepszego rozumowania, czy z czystego przypadku, i nie mogą systematycznie korygować złych nawyków.

Jak ABC zmienia sposób przypisywania zasług

Answer-Backtracked Credit Assignment działa wstecz, zaczynając od poprawnej końcowej odpowiedzi. Najpierw wyodrębnia kluczowe wskazówki, od których zależy odpowiedź – konkretne dowody, wyniki pośrednie lub sprawdzenia stanu. Następnie analizuje zarejestrowany ślad wstecz, oceniając każde działanie pod kątem tych wskazówek. Działanie, które bezpośrednio przyczyniło się do uzyskania potrzebnej wskazówki, otrzymuje pozytywną zasługę; działanie nieistotne lub szkodliwe otrzymuje ocenę ujemną lub zerową.

Dwa reżimy trenowania opierają się na tym systemie oceniania:

  • ABC-SFT (Supervised Fine-Tuning) zmienia wagi funkcji straty tak, aby kroki z wyższą zasługą silniej wpływały na model. Model uczy się priorytetyzować działania, które historycznie prowadziły do użytecznych wskazówek.
  • ABC-GRPO (Gradient-based Reward Policy Optimization) traktuje oceny poszczególnych kroków jako sygnał nagrody dla uczenia ze wzmocnieniem, wzmacniając te konkretne części wyszukiwania, które pomogły uzyskać odpowiedź.

Przekształcając binarną etykietę „zaliczone/niezaliczone” w szczegółową mapę wkładu, ABC dostarcza modelowi znacznie bogatszy sygnał uczenia się.

Wczesne wyniki mówią same za siebie

Badacze zastosowali ABC do skromnego modelu o 4 miliardach parametrów, wyposażonego w warstwę zarządzania kontekstem, która śledzi zmieniający się stan wyszukiwania. W zadaniach benchmarkowych, które tradycyjnie faworyzują znacznie większych agentów, model trenowany metodą ABC dorównał większym systemom lub ich przewyższył. Wzrost wydajności nastąpił bez zwiększania rozmiaru modelu, co sugeruje, że lepsze przypisywanie zasług może zastąpić surową liczbę parametrów.

Główny wniosek jest prosty: daj modelowi jasny wykaz tego, co zadziałało, a będzie on mógł wyciągnąć większą wartość z tej samej ilości danych treningowych.

Co to oznacza dla agentów w świecie rzeczywistym

Każdy agent wykonujący wieloetapową pracę – asystenci programowania, boty do przeglądu literatury, narzędzia do obsługi klienta – polega na śladzie swoich działań. ABC pokazuje, że zachowanie i ocena tego śladu nie jest jedynie miłym dodatkiem, lecz jest niezbędne do efektywnego uczenia się.

  • Agenci programowania muszą logować plan, każde wydane polecenie oraz wyniki testów walidujących kod.
  • Agenci badawczy muszą zachowywać wysyłane zapytania, otwierane źródła i wyodrębnione dowody.
  • Agenci wsparcia powinni rejestrować każde sprawdzenie stanu i punkt decyzyjny, który doprowadził do rozwiązania problemu.

Gdy te ślady są dostępne, ABC może precyzyjnie przypisywać zasługi, pozwalając modelowi wzmacniać dobre nawyki i odrzucać szczęśliwe skróty, które w przeciwnym razie mogłyby zostać pomylone z umiejętnościami.

Kontrargumenty i praktyczne przeszkody

Korzyści płynące z ABC wiążą się ze zwiększoną złożonością.

Podsumowanie

Answer-Backtracked Credit Assignment wywraca do góry nogami sposób, w jaki uczymy agentów przeszukiwania, kodowania i rozumowania. Nagradzając właściwe kroki na drodze do celu, a nie tylko sam rezultat, pozwala modelowi o umiarkowanej wielkości uczyć się równie skutecznie, co znacznie większym modelom. Dla każdego, kto buduje agentów zdolnych do wykonywania wieloetapowych zadań, przyjęcie reżimu treningowego skoncentrowanego na śladach (trace-centric) nie jest kwestią wyboru — to droga do niezawodnej, audytowalnej i ostatecznie inteligentniejszej sztucznej inteligencji.