Anatomia szkieletu agenta

Zbudowałeś chatbota. Dodałeś kilka narzędzi i prostą pętlę. Działa w wersji demonstracyjnej. Potem próbujesz wdrożyć go na produkcję i wszystko się sypie.

Model zapomina o poprzednich krokach. Wywołania narzędzi zawodzą bez ostrzeżenia. Okno kontekstowe wypełnia się bezużytecznymi danymi.

Problem nie leży w Twoim modelu. Problemem jest infrastruktura wokół niego.

Ta infrastruktura nazywa się szkieletem agenta (agent harness).

Agent to zachowanie. Szkielet to mechanizm. Jeśli nie jesteś modelem, jesteś szkieletem.

Pomyśl o surowym LLM jak o procesorze (CPU). Nie ma on pamięci RAM, dysku ani wejścia/wyjścia (I/O). Szkielet to system operacyjny. Zapewnia on pamięć, narzędzia i logikę, które czynią model użytecznym.

Szkielet klasy produkcyjnej składa się z dwunastu kluczowych komponentów:

• Pętla orkiestracji: To serce systemu. Zarządza cyklem Myśl-Działanie-Obserwacja (Thought-Action-Observation). • Warstwa narzędzi: To ręce agenta. Szkielet odpowiada za rejestrację, walidację i wykonywanie narzędzi. • Pamięć: Obejmuje historię krótkoterminową oraz długoterminową trwałość danych między sesjami. • Zarządzanie kontekstem: Zapobiega degradacji kontekstu poprzez kompresję lub podsumowywanie danych. • Składanie promptów: Tworzy dokładny zestaw danych wejściowych, który model widzi na każdym etapie. • Klasyfikacja wyjścia: Decyduje, czy model chce rozmawiać, czy użyć narzędzia. • Zarządzanie stanem: Pozwala agentowi wznowić pracę po błędzie lub przerwaniu. • Obsługa błędów: Wyłapuje awarie, aby błędy nie narastały. • Barierki ochronne (Guardrails): Działają jak czujniki, aby zatrzymać niebezpieczne lub błędne działania. • Egzekwowanie uprawnień: Oddziela to, co model chce zrobić, od tego, na co ma pozwolenie. • Pętle weryfikacji: Pozwalają modelowi sprawdzać własną pracę w celu poprawy jakości. • Przekazywanie zadań (Agent Handoffs): Zarządza tym, jak jeden agent przekazuje pracę drugiemu.

Celem dobrej inżynierii jest utrzymanie szkieletu tak lekkiego, jak to tylko możliwe. W miarę jak modele stają się inteligentniejsze, będziesz potrzebować coraz mniej rusztowań.

Gdy Twój agent zawodzi, nie obwiniaj modelu. Przyjrzyj się swojemu szkieletowi.

Źródło: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi