Przestań wrzucać całą pamięć agenta do promptu

Większość deweloperów buduje pętle agentów, dopisując wszystko do kolejnego promptu.

Dodajesz wcześniejsze obserwacje, wywołania narzędzi i ślady rozumowania. Ciągle dodajesz dane, aż prompt staje się „szufladą na śmieci”. Model widzi więcej, ale tracisz kontrolę. Nie wiesz już, która część pamięci spowodowała konkretną decyzję.

Nowa praca naukowa o nazwie AgenticSTS sugeruje inną ścieżkę. Traktuje ona pamięć jako interfejs, a nie jako wyścig o jak największe okno kontekstowe.

W pracy wykorzystano grę Slay the Spire 2 jako środowisko testowe. Wymaga ona setek strategicznych decyzji. To nie jest zwykły chatbot.

Główna idea jest następująca: Pamięć to kontrakt określający, co przyszła decyzja może zobaczyć.

Zamiast surowych transkrypcji, autorzy tworzą nowe prompty, korzystając z pięciu konkretnych warstw:

  • Stałe instrukcje protokołu
  • Aktualny stan i schematy działań
  • Pobrane zasady gry
  • Podsumowania z poprzednich przebiegów
  • Wyzwalane umiejętności strategiczne

Ta struktura zmienia wszystko. Możesz inspekcjonować, zamrażać lub wyłączać każdą warstwę. Zmieniasz pamięć z kupy danych w wyselekcjonowane dowody.

Wiele awarii agentów na produkcji to nie błędy modelu, lecz błędy kontekstu. Agent miesza stary stan z nowym lub przenosi nieaktualne refleksje dalej. Jeśli Twoją jedyną strategią jest dopisywanie kolejnego tekstu, debugowanie przypomina archeologię.

Typowany interfejs pamięci daje Ci punkt odniesienia.

W przypadku długo działających agentów ogromne okno kontekstowe jest pułapką. Staje się mieszanką faktów, nieaktualnych faktów i nieudanych prób. Im większe okno, tym łatwiej pomylić osad z pamięcią.

Aby budować lepsze agenty, stosuj te wzorce:

  • Oddzielaj stabilne instrukcje od aktualnego stanu
  • Przechowuj zasady w warstwie retrieval
  • Przechowuj doświadczenia jako jawne rekordy, a nie pozostałości po czacie
  • Zamieniaj powtarzające się poprawki w wyzwalane umiejętności
  • Spraw, aby każda warstwa pamięci była możliwa do usunięcia w celach testowych

Jeśli nie możesz wyłączyć warstwy pamięci, nie wiesz, czy ona faktycznie pomaga. Wiesz tylko, że cała ta sterta czasem działa.

Przestań traktować pamięć agenta jako warstwę opartą na „vibe'ach”. Dąż do systemu, w którym dokładnie wiesz, co wpływa na kolejną decyzję, skąd to pochodzi i jak to wyłączyć.

Jeśli Twój agent nie potrafi wyjaśnić, co wolno mu było zapamiętać, to nie ma pamięci. Ma po prostu prompt z piwnicą.

Źródło: https://dev.to/komo/stop-dumping-agent-memory-into-the-prompt-58ka

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi