Entwicklung von FailureDNA: Ein Agenten-Gedächtnis, das weiß, wann es sich selbst nicht vertrauen darf
Die meisten KI-Agenten machen einen gefährlichen Fehler. Sie nutzen vergangene Vorfälle, um neue Ausfälle zu beheben. Wenn ein neues Problem einem alten ähnelt, kopiert der Agent die alte Lösung.
Das ist ein Problem. Ähnlichkeit bedeutet nicht Anwendbarkeit. Eine vergangene Lösung funktioniert vielleicht bei einer alten Datenbankversion, schlägt aber bei der aktuellen fehl. Das Wiederholen einer gescheiterten Lösung verschwendet Zeit. Die Verwendung einer veralteten Lösung verschlimmert den Ausfall.
Ich habe FailureDNA entwickelt, um dieses Problem zu lösen. Es ist ein Gedächtnissystem, das reale Ergebnisse verfolgt. Es entscheidet, ob eine vergangene Erfahrung nützlich ist, geprüft werden muss oder vermieden werden sollte.
Das System folgt einer Regel: Das Modell wählt die Aktion aus, aber deterministischer Code entscheidet, was gültig ist.
So funktioniert es: • Der Agent erstellt Embeddings der Vorfallssymptome. • Er durchsucht vergangene Vorfälle mittels pgvector auf Alibaba Cloud RDS. • Ein deterministisches Gate prüft die Ergebnisse. • Das Modell wählt eine auf der Allowlist stehende Aktion aus. • Das System führt die Aktion aus und speichert das reale Ergebnis.
Das Gate verwendet drei einfache Regeln:
- Wenn das vergangene Ergebnis ein Fehlschlag war: Vermeiden Sie es.
- Wenn das vergangene Ergebnis ein Erfolg war und die Umgebung übereinstimmt: Verwenden Sie es.
- Wenn das vergangene Ergebnis ein Erfolg war, sich die Umgebung jedoch geändert hat: Prüfen Sie es.
Der Agent kann einen bekannten Fehler nicht wiederholen. Das System entfernt fehlerhafte Aktionen, noch bevor das Modell sie überhaupt sieht. Dies verhindert, dass das Modell Warnungen ignoriert. Das Modell sorgt für Kreativität, aber der Code garantiert Sicherheit.
Technische Details: • Ich habe Qwen Cloud für Embeddings und die Aktionsauswahl verwendet. • text-embedding-v3 erstellt 1024-d Vektoren. • Hybrid Retrieval kombiniert semantische Ähnlichkeit und Keyword-Überschneidung. • Das Backend läuft auf Alibaba Cloud Function Compute mit FastAPI. • Das Gedächtnis wird in ApsaraDB RDS for PostgreSQL gespeichert.
FailureDNA verhindert, dass der Agent historische Fehler wiederholt und veraltete Lösungen verwendet. Es hält das Modell kreativ und stellt gleichzeitig sicher, dass das System sicher bleibt.
Optionale Lern-Community: https://t.me/GyaanSetuAi