De anatomie van een agent harness
Je hebt een chatbot gebouwd. Je hebt een paar tools en een eenvoudige loop toegevoegd. Het werkt voor een demo. Maar dan probeer je naar productie te gaan en gaat alles kapot.
Het model vergeet eerdere stappen. Tool calls mislukken zonder waarschuwing. Het contextvenster raakt gevuld met nutteloze data.
Het probleem is niet je model. Het probleem is de infrastructuur eromheen.
Deze infrastructuur wordt de agent harness genoemd.
De agent is het gedrag. De harness is het mechanisme. Als je niet het model bent, ben je de harness.
Beschouw een ruwe LLM als een CPU. Het heeft geen RAM, geen schijf en geen I/O. De harness is het besturingssysteem. Het biedt het geheugen, de tools en de logica om het model nuttig te maken.
Een harness van productieniveau heeft twaalf kerncomponenten:
• Orchestration Loop: Dit is de hartslag. Het beheert de Thought-Action-Observation-cyclus. • Tool Layer: Dit zijn de handen. De harness regelt de registratie, validatie en uitvoering van tools. • Memory: Dit omvat korte-termijn geschiedenis en lange-termijn persistentie over sessies heen. • Context Management: Dit voorkomt contextrot door data te comprimeren of samen te vatten. • Prompt Assembly: Dit bouwt de exacte input die het model bij elke stap ziet. • Output Classification: Dit bepaalt of het model wil praten of een tool wil gebruiken. • State Management: Dit stelt de agent in staat om het werk te hervatten na een fout of onderbreking. • Error Handling: Dit vangt fouten op zodat fouten zich niet opstapelen. • Guardrails: Deze fungeren als tripwires om onveilige of onjuiste acties te stoppen. • Permission Enforcement: Dit scheidt wat een model wil doen van wat het mag doen. • Verification Loops: Dit laat het model zijn eigen werk controleren om de kwaliteit te verbeteren. • Agent Handoffs: Dit beheert hoe de ene agent het werk doorgeeft aan een andere.
Het doel van goed engineering is om de harness zo dun mogelijk te houden. Naarmate modellen slimmer worden, heb je minder steunstructuur nodig.
Wanneer je agent faalt, geef dan niet het model de schuld. Kijk naar je harness.
Bron: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j
Optionele leercommunity: https://t.me/GyaanSetuAi