Stop met het fine-tunen van je model. Je architectuur is het probleem.

Demo's zien er geweldig uit. Productiesystemen zien er anders uit. Er zit een kloof tussen die twee.

Mensen noemen tegenwoordig alles een agent. Een chatbot met geheugen is een agent. Een script met een loop is een agent. Deze fout leidt tot engineeringfouten. Je eindigt met het over-engineeren van eenvoudige taken en het onder-engineeren van complexe taken.

Een agent heeft een doel nodig. Het volgt niet alleen een instructie. Het beslist wat de volgende stap is. Het gaat om met fouten. Het weet wanneer het moet stoppen.

Gebruik deze regels om je systeem te controleren:

  • Als een mens elke stap moet begeleiden, is het een chatinterface.
  • Als het herstelt van een mislukte tool call, is het een agent.
  • Als het een doel opdeelt in subtaken, is het een echte agent.

Succesvolle teams jagen niet op nieuwe modellen. Ze bouwen specifieke, doelgerichte pipelines. Ze focussen op deze drie zaken:

  • Tool design: Hoe strak is de interface?
  • Failure handling: Wat gebeurt er als een tool niets teruggeeft?
  • Observability: Kun je elke beslissing traceren?

Het framework dat je gebruikt is minder belangrijk dan je patronen. Ik heb architecturen herbouwd in verschillende frameworks en de resultaten blijven hetzelfde. Het framework is de steiger. De architectuur is het gebouw.

Volg deze patronen:

  • Plan en voer dan uit. Gebruik één stap voor redeneren en een aparte stap voor actie.
  • Scheid retrieval van redeneren. Het ophalen van context en het gebruiken van context zijn verschillende taken.
  • Gebruik expliciete handoffs. Wanneer één agent werk doorgeeft aan een andere, gebruik dan gestructureerde logs.

RAG is de standaard, maar chunking is vaak foutief. Als je documenten slecht opdeelt, verliest het model de context. Dit veroorzaakt hallucinaties.

Als je RAG-pipeline nutteloze resultaten geeft, kijk dan naar je chunking en metadata. Geef niet het embedding model de schuld.

De engineering-uitdaging is het bouwen van systemen die je kunt vertrouwen. Focus op governance, observability en betrouwbaar toolgebruik. Jaag niet alleen op benchmarks.

De beste engineers zullen zich richten op systeemontwerp. Ze zullen AI-systemen bouwen die anderen kunnen onderhouden en vertrouwen.

Bron: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg