Hör auf, dein Modell feinabzustimmen. Deine Architektur ist das Problem.

Demos sehen großartig aus. Produktionssysteme sehen anders aus. Es gibt eine Lücke zwischen den beiden.

Heutzutage nennt man alles einen Agenten. Ein Chatbot mit Gedächtnis ist ein Agent. Ein Skript mit einer Schleife ist ein Agent. Dieser Fehler führt zu Engineering-Fehlern. Man neigt dazu, einfache Aufgaben übermäßig komplex zu gestalten und komplexe Aufgaben zu simpel zu lösen.

Ein Agent benötigt ein Ziel. Er folgt nicht einfach nur einer Anweisung. Er entscheidet, was als Nächstes zu tun ist. Er geht mit Fehlern um. Er weiß, wann er aufhören muss.

Nutze diese Regeln, um dein System zu prüfen:

  • Wenn ein Mensch jeden Schritt anleiten muss, ist es ein Chat-Interface.
  • Wenn es sich von einem fehlgeschlagenen Tool-Aufruf erholt, ist es ein Agent.
  • Wenn es ein Ziel in Unteraufgaben aufteilt, ist es ein echter Agent.

Erfolgreiche Teams jagen nicht ständig neuen Modellen hinterher. Sie bauen spezialisierte, zweckgebundene Pipelines. Sie konzentrieren sich auf diese drei Dinge:

  • Tool-Design: Wie sauber ist die Schnittstelle?
  • Fehlerbehandlung: Was passiert, wenn ein Tool nichts zurückgibt?
  • Observability: Kannst du jede Entscheidung nachverfolgen?

Das Framework, das du verwendest, ist weniger wichtig als deine Muster. Ich habe Architekturen in verschiedenen Frameworks neu aufgebaut, und die Ergebnisse bleiben dieselben. Das Framework ist das Gerüst. Die Architektur ist das Gebäude.

Folge diesen Mustern:

  • Planen, dann ausführen. Nutze einen Schritt für das Reasoning und einen separaten Schritt für die Aktion.
  • Trenne Retrieval von Reasoning. Das Abrufen von Kontext und die Nutzung von Kontext sind unterschiedliche Aufgaben.
  • Nutze explizite Übergaben. Wenn ein Agent die Arbeit an einen anderen übergibt, verwende strukturierte Logs.

RAG ist Standard, aber das Chunking ist oft fehlerhaft. Wenn du Dokumente schlecht aufteilst, verliert das Modell den Kontext. Dies führt zu Halluzinationen.

Wenn deine RAG-Pipeline nutzlose Ergebnisse liefert, schau dir dein Chunking und deine Metadaten an. Gib nicht dem Embedding-Modell die Schuld.

Die technische Herausforderung besteht darin, Systeme zu bauen, denen man vertrauen kann. Konzentriere dich auf Governance, Observability und die zuverlässige Nutzung von Tools. Jage nicht nur Benchmarks hinterher.

Die besten Ingenieure werden sich auf das Systemdesign konzentrieren. Sie werden KI-Systeme bauen, die andere warten und denen sie vertrauen können.

Quelle: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg