Stop met het dumpen van agent-geheugen in de prompt

De meeste ontwikkelaars bouwen agent-loops door alles aan de volgende prompt toe te voegen.

Je voegt eerdere observaties, tool-aanroepen en redeneerpaden toe. Je blijft data toevoegen totdat de prompt een rommelbak wordt. Het model ziet meer, maar je verliest de controle. Je weet niet meer welk stukje geheugen een specifieke beslissing heeft veroorzaakt.

Een nieuw paper genaamd AgenticSTS suggereert een andere weg. Het behandelt geheugen als een interface in plaats van een strijd om het grootste contextvenster.

Het paper gebruikt het spel Slay the Spire 2 als testomgeving. Deze omgeving vereist honderden strategische beslissingen. Het is geen simpele chatbot.

Het kernidee is dit: Geheugen is een contract over wat een toekomstige beslissing mag zien.

In plaats van ruwe transcripten stellen de auteurs nieuwe prompts samen met behulp van vijf specifieke lagen:

  • Vaste protocolinstructies
  • Huidige status en actieschema's
  • Opgehaalde spelregels
  • Samenvattingen van eerdere runs
  • Getriggerde strategische vaardigheden

Deze structuur verandert alles. Je kunt elke laag inspecteren, bevriezen of uitschakelen. Je verandert geheugen van een berg data in geselecteerd bewijsmateriaal.

Veel fouten bij agenten in productie zijn geen model-fouten. Het zijn context-fouten. De agent mengt een oude status met een nieuwe status of neemt verouderde reflecties mee. Als je enige beleid is om meer tekst toe te voegen, voelt debuggen als archeologie.

Een getypeerde geheugeninterface geeft je iets om mee te vergelijken.

Voor langlopende agenten is een enorm contextvenster een valstrik. Het wordt een mix van feiten, verouderde feiten en mislukte pogingen. Hoe groter het venster, hoe makkelijker het is om sediment aan te zien voor geheugen.

Om betere agenten te bouwen, volg je deze patronen:

  • Scheid stabiele instructies van de huidige status
  • Houd regels in een retrieval-laag
  • Sla ervaring op als expliciete records, niet als chat-residuen
  • Verander herhaalde fixes in getriggerde vaardigheden
  • Maak elke geheugenlaag verwijderbaar voor testen

Als je een geheugenlaag niet kunt uitschakelen, weet je niet of deze daadwerkelijk helpt. Je weet alleen dat de hele berg soms werkt.

Stop met het behandelen van agent-geheugen als een 'vibes'-laag. Beweeg naar een systeem waarin je precies weet wat er in de volgende beslissing ingaat, waar het vandaan kwam en hoe je het kunt uitschakelen.

Als je agent niet kan uitleggen wat hij mocht onthouden, heeft hij geen geheugen. Hij heeft alleen een prompt met een kelder.

Bron: https://dev.to/komo/stop-dumping-agent-memory-into-the-prompt-58ka

Optionele leercommunity: https://t.me/GyaanSetuAi