Die Konfabulationskaskade

Mein KI-Agent geriet in eine Endlosschleife.

Er schrieb eine SQL-Abfrage mit einem erfundenen Spaltennamen. Die Datenbank gab eine Fehlermeldung zurück. Die Fehlermeldung enthielt die Liste der tatsächlichen Spalten. Der Agent las die Korrektur. Dann schrieb er genau denselben falschen Spaltennamen erneut.

Ich nenne das die Konfabulationskaskade.

Das ist kein Problem des Modells. Es ist ein Problem des Tool-Designs.

So funktioniert die Schleife:

  • Der Agent generiert eine Abfrage basierend auf seinem Training.
  • Die Abfrage schlägt fehl.
  • Die Fehlermeldung liefert die Wahrheit.
  • Der Agent sieht die Wahrheit, verlässt sich aber stattdessen auf sein internes Training.
  • Der Agent wiederholt den Fehler.

Der Agent sieht sich zwei Signalen gegenüber. Ein Signal ist die Fehlermeldung. Das andere Signal ist das Training des Modells. Das Training ist oft stärker. Die Fehlermeldung erscheint nur einmal. Das Training ist bei jedem einzelnen Wort präsent, das das Modell schreibt.

Ich habe versucht, dies durch Prompt Engineering zu beheben. Ich habe dem Modell gesagt, es solle auf Fehler achten. Es hat nicht funktioniert.

Das eigentliche Problem ist, dass mein Agent nur durch Scheitern lernen konnte. Er hatte keine Möglichkeit, die Tabellenstruktur zu prüfen, bevor er handelte. Er musste raten.

Wenn man einem Menschen eine API gibt, gibt man ihm eine Dokumentation. Man zwingt ihn nicht dazu, fehlerhafte Anfragen zu senden, bis die Fehlermeldungen ihm das Schema beibringen.

Ich habe das Problem gelöst, indem ich ein proaktives Tool gebaut habe. Anstatt auf einen Fehler zu warten, ruft der Agent nun zuerst ein describe_table-Tool auf.

Der neue Workflow:

  • Der Agent möchte eine Tabelle abfragen.
  • Der Agent ruft describe_table auf, um die echten Spalten zu sehen.
  • Der Agent erhält die korrekten Namen und Typen.
  • Der Agent schreibt beim ersten Versuch eine korrekte Abfrage.

Die Schleife hörte auf. Das Modell wurde nicht intelligenter. Der Agent hörte einfach auf zu raten.

Wenn Ihre Agenten Datenbanken oder APIs nutzen, stellen Sie sich diese Frage: Können sie die Struktur verifizieren, bevor sie handeln? Oder lernen sie nur durch Scheitern?

Reaktive Fehlermeldungen sind gut. Sie reichen jedoch nicht aus. Ein Agent, der nur durch Scheitern lernt, ist immer nur einen Schritt von einer Halluzination entfernt.

Entwickeln Sie Tools, die es Agenten ermöglichen, Fragen zu stellen, bevor sie Fehler machen.

Source: https://dev.to/niclydon/the-confabulation-cascade-when-your-agent-learns-nothing-from-its-own-mistakes-m08

Optional learning community: https://t.me/GyaanSetuAi