KI-Agenten erholen sich drastisch, wenn man ihnen die explizite Erlaubnis gibt, ihre Tools erneut auszuführen – wie der Autor herausfand. Eine einfache Änderung der Formulierung steigerte die Erfolgsquote der Fehlerbehebung von 0,16 auf 1,00. Das Ergebnis, das als „Action-Licensing“ bezeichnet wird, zeigt, dass ein sanfter Hinweis (Nudge) an den Agenten, seine Arbeit zu überprüfen, weitaus effektiver sein kann, als lediglich das Ziel erneut zu formulieren.

Warum die Fehlerbehebung wichtig ist

KI-Assistenten, die externe Tools (Datenbanken, Rechner, APIs) aufrufen können, werden zunehmend in Geschäftsprozessen eingesetzt. Wenn diese Agenten Fehler machen, breitet sich der Fehler oft unbemerkt aus und liefert falsche Antworten, ohne dass offensichtliche Fehlersignale auftreten. Eine zuverlässige Methode zur Intervention, ohne den gesamten Prompt umschreiben zu müssen, könnte Entwicklern Zeit sparen und kostspielige Fehler in Produktionssystemen verhindern.

Wie sich die Fehler äußern

Der Autor beobachtete zwei häufige, schwer erkennbare Fehlermuster:

  • Skipped Lookup (Übersprungene Abfrage) – Der Agent weiß, dass er eine Information abrufen sollte (z. B. den Namen eines Managers anhand einer ID), erfindet aber einfach eine Antwort, anstatt das Such-Tool aufzurufen. Die oberflächliche Antwort wirkt plausibel, doch die faktische Grundlage fehlt.

  • Validated Nonsense (Validierter Unsinn) – Der Agent übergibt einem Tool fehlerhafte oder falsche Daten. Das Tool liefert ein Ergebnis zurück, ohne einen Fehler zu melden, und der Agent wertet dieses Ergebnis als Bestätigung und legitimiert damit faktisch seinen eigenen Fehler.

Beide Muster hinterlassen beim Nutzer eine selbstbewusste, aber falsche Antwort, und sie lösen nicht die üblichen Anzeichen für eine Endlosschleife oder eine fehlende Antwort aus, auf die Entwickler achten.

Das Experiment

Um zu messen, wie verschiedene Prompts die Fehlerbehebung beeinflussen, führte der Autor einen kontrollierten Test mit festen Ground-Truth-Antworten durch (keine Bewertung durch LLMs). Zwei Nudges wurden verglichen:

  1. Goal-only nudge (Nur-Ziel-Hinweis) – „Die Antwort muss der Name des Managers sein.“ Erfolgsquote: 0,16.

  2. Action-licensing nudge (Handlungs-Lizenz-Hinweis) – „Die Antwort muss der Name des Managers sein. Verwende Tools zur Überprüfung.“ Erfolgsquote: 1,00 (alle fehlerhaften Durchläufe wurden korrigiert).

Der einzige Unterschied war die explizite Erlaubnis, ein Tool erneut auszuführen. Der zweite Prompt signalisierte dem Agenten, dass er zurückgehen, die fehlenden Daten abrufen und seine frühere Vermutung überschreiben konnte. Diese Erlaubnis verwandelte einen weitgehend unwirksamen Hinweis in eine garantierte Fehlerbehebung für die getesteten Fälle.

Was die Zahlen bedeuten

Ein Sprung von 0,16 auf 1,00 deutet darauf hin, dass die Hürde für die Korrektur nicht das Verständnis des Ziels durch den Agenten war, sondern seine wahrgenommene Handlungsfreiheit. Wenn der Prompt dem Modell sagt: „Du darfst es erneut versuchen“, behandelt es die Situation als eine neue Teilaufgabe statt als Sackgasse, was den Neustart der Tool-Aufruf-Kette ermöglicht.

Grenzen von reinen Prompt-Fixes

Das Experiment zeigte auch Szenarien auf, in denen Prompting allein den Agenten nicht retten kann:

  • Wenn ein nachgelagertes Tool fehlerhafte Eingaben stillschweigend akzeptiert und einen Wert zurückgibt, hat der Agent kein Signal, dass seine Daten falsch waren. Keine Umformulierung wird ihn dazu bringen, den Fehler zu erkennen; das Tool selbst muss die Eingabevalidierung erzwingen oder einen Fehler ausgeben.

  • Agenten, die bereits Schwierigkeiten haben, Tools überhaupt aufzurufen, werden nie von einer „Verwende Tools“-Anweisung profitieren, da die zugrunde liegende Fähigkeit fehlt. Die Fehlerbehebung bei solchen Modellen zu testen, vermischt die Bewertung des Prompts mit der grundlegenden Fähigkeit des Modells zum Tool-Calling.

Praktische Erkenntnisse für Entwickler

  • Erlaubnis erteilen – Wenn Sie intervenieren, sagen Sie dem Agenten explizit, dass er einen Tool-Aufruf wiederholen oder eine Neuberechnung durchführen darf. Das bloße Wiederholen des gewünschten Ergebnisses lässt den Agenten oft in seinem ursprünglichen, fehlerhaften Pfad stecken bleiben.

  • Tools absichern – Integrieren Sie Eingabeprüfungen und klare Fehlermeldungen in die Tools, die der Agent verwendet. Dies verhindert, dass „validierter Unsinn“ durchrutscht.

  • Frühzeitig erkennen – Je früher ein Fehler bemerkt wird, desto einfacher kann ein Prompt zur erneuten Ausführung erfolgreich sein. Das Monitoring von Abweichungen zwischen erwarteter und tatsächlicher Tool-Nutzung kann den Reparatur-Prompt zum richtigen Zeitpunkt auslösen.

  • Modellfähigkeiten validieren – Bevor Sie sich auf promptbasierte Fehlerbehebung verlassen, stellen Sie sicher, dass das Modell überhaupt zuverlässig Tools aufrufen kann. Andernfalls messen Sie möglicherweise die Effektivität des Prompts auf einem fehlerhaften Fundament.

Fazit: Einem KI-Agenten die explizite Erlaubnis zu geben, seine Arbeit zu wiederholen, kann aus einer halbherzigen Korrektur eine vollständige Wiederherstellung machen. Prompt-Designer sollten „Verwende Tools zur Überprüfung“ als Sicherheitsventil betrachten und nicht als optionales Extra.