KI-Agenten in der Praxis: Fehler aus dem Trace lesen

Ihr KI-Agent stürzt nicht ab. Er meldet Erfolg. Aber Ihr Bankkonto zeigt einen Fehler an.

Eine Rückerstattung wurde für eine Bestellung veranlasst, die nie storniert wurde. Der Kunde hat sowohl den Artikel als auch das Geld. Der Agent dachte, er hätte seine Aufgabe erfüllt.

Greifen Sie nicht nach einem größeren Modell. Fügen Sie nicht einfach eine Retry-Schleife hinzu. Beides sind bloße Vermutungen.

Lesen Sie stattdessen den Trace. Der Agent hat bereits aufgeschrieben, was er getan hat.

Ein guter Produktions-Trace zeichnet die Schleife Schritt für Schritt auf. Er muss zeigen:

  • Was der Agent beobachtet hat
  • Was er entschieden hat
  • Welches Tool er aufgerufen hat
  • Was das Tool zurückgegeben hat
  • Den Verifizierungs-Read aus der Source of Truth
  • Den Endzustand und die Kosten

Der wichtigste Teil ist die Lücke zwischen der Tool-Antwort und dem Verifizierungs-Read. Ein Tool mag "akzeptiert" sagen, aber das bedeutet nicht, dass sich die Welt geändert hat. Der Verifizierungs-Read sagt Ihnen, ob die Änderung tatsächlich stattgefunden hat.

Fehler lassen sich meist in zwei Gruppen unterteilen:

  1. Ausführungsfehler (Execution Failures)
  • Tool-Fehler: Falsche Argumente oder Timeouts.
  • Reasoning-Fehler: Das Modell hat die falsche Aktion gewählt.
  • Kontrollzustands-Fehler: Der Agent glaubt eine Lüge. Er denkt, eine Bestellung sei storniert, weil das Tool es gesagt hat, selbst wenn die Datenbank etwas anderes sagt.
  1. Strukturelle Schleifenfehler (Structural Loop Failures)
  • Kontext-Degradierung: Der Agent verliert den Faden.
  • Unkontrollierte Schleifen (Loop Runaway): Der Agent wiederholt Schritte ohne Fortschritt.
  • Stummes Hängenbleiben (Silent Stalls): Der Agent hängt fest, ohne einen Fehler zu melden. Sie benötigen einen Watchdog, der Stille als Fehler behandelt.

Wenn Sie einen Fehler finden, versuchen Sie es nicht einfach erneut. Ein Retry ist eine Strategie, keine Diagnose.

  • Wenn es sich um einen vorübergehenden Fehler wie einen Timeout handelt, führen Sie einen Retry durch.
  • Wenn es ein Logikfehler ist, verbraucht ein Retry nur Ihr Budget, um erneut gegen dieselbe Wand zu laufen.
  • Wenn der Agent auf ein Hindernis stößt, stoppen Sie und informieren Sie einen Menschen.

Der beste Weg, einen Fehler zu beheben, besteht darin, ihn in einen Test zu verwandeln.

Nutzen Sie den Trace, um einen Grader zu schreiben. Wenn ein Agent die Stornierung nicht verifiziert hat, schreiben Sie einen Test, der fehlschlägt, wenn eine Rückerstattung erfolgt, ohne dass ein bestätigter Stornierungsstatus vorliegt. Verwandeln Sie die Fehler, für die Sie bereits bezahlt haben, in Fehler, für die Sie nie zweimal bezahlen müssen.

Quelle: https://dev.to/gursharansingh/ai-agents-in-practice-part-7-when-the-loop-goes-wrong-reading-agent-failures-from-the-trace-5bdp

Optionale Lern-Community: https://t.me/GyaanSetuAi