Wat ik heb geleerd van het draaien van AI-agents in productie

Ik bouw AI-systemen. Ik praat met engineers die code releasen. Er is een kloof tussen flitsende demo's en echte productiesystemen.

Mensen noemen tegenwoordig alles een agent. Een script met een loop is een agent. Een chatbot met geheugen is een agent. Deze fout leidt tot slechte engineering.

Teams over-engineeren eenvoudige taken. Ze voegen complexe orchestratie toe aan workflows die slechts één goede prompt nodig hebben.

Een agent moet een doel hebben, niet alleen een instructie. Hij moet beslissen wat de volgende stap is. Hij moet kunnen omgaan met fouten. Hij moet weten wanneer hij klaar is.

Al het andere is slechts een functieaanroep.

• Als een mens elke stap moet begeleiden, is het een chatinterface. • Als een systeem herstelt van een mislukte tool call, is het een agent. • Als een systeem een doel opdeelt in subtaken, is het een echte agent.

Echte agent-implementaties zijn specifiek. Ze doen één ding goed, zoals documentextractie of code review. Het zijn geen algemene redeneermotoren.

Succesvolle teams focussen op drie zaken:

  • Tool design: Schone interfaces voor wat de agent aanroept.
  • Failure handling: Wat er gebeurt als een tool niets teruggeeft.
  • Observability: Het traceren van de reden waarom een agent een specifieke beslissing heeft genomen.

Frameworks zoals LangChain of CrewAI veranderen elke maand. Het framework is minder belangrijk dan de patronen.

Gebruik deze patronen om succesvol te zijn:

  • Plan dan uitvoer: Gebruik één stap voor de planning en een aparte stap voor de uitvoering.
  • Scheid retrieval van reasoning: Het ophalen van context en het gebruiken van context zijn verschillende taken.
  • Expliciete handoffs: Gebruik gestructureerde logs wanneer een agent het werk overdraagt aan een andere.

RAG is de standaard, maar de meeste mensen falen bij het chunken. Als je tekst slecht opdeelt, verliest het model de context. Als je RAG-resultaten nutteloos zijn, controleer dan je metadata en chunking-strategie voordat je het model de schuld geeft.

Modellen zullen beter en goedkoper worden. Dit verandert de kern van de technische uitdaging niet. Je moet systemen bouwen die correct handelen wanneer je niet meekijkt.

Focus op governance en observability. De engineers die er echt toe doen, zijn zij die systemen bouwen waar anderen op kunnen vertrouwen. Dit is systems design, geen modelonderzoek.

Bron: https://dev.to/aibughunter/what-i-learned-after-running-ai-agents-in-production-for-a-year-49n