Creare FailureDNA: una memoria per agent che sa quando non fidarsi di se stessa
La maggior parte degli agenti AI commette un errore pericoloso. Utilizzano incidenti passati per risolvere nuovi outage. Se un nuovo problema somiglia a uno vecchio, l'agente copia la vecchia soluzione.
Questo è un problema. La somiglianza non implica applicabilità. Una soluzione passata potrebbe funzionare per una vecchia versione del database, ma fallire su quella attuale. Ripetere una soluzione fallimentare spreca tempo. Utilizzare una soluzione obsoleta peggiora l'outage.
Ho creato FailureDNA per risolvere questo problema. È un sistema di memoria che traccia i risultati reali. Decide se un'esperienza passata è utile, se necessita di ispezione o se dovrebbe essere evitata.
Il sistema segue una regola: il modello seleziona l'azione, ma il codice deterministico decide cosa è valido.
Come funziona: • L'agente genera gli embedding dei sintomi dell'incidente. • Cerca tra gli incidenti passati utilizzando pgvector su Alibaba Cloud RDS. • Un gate deterministico controlla i risultati. • Il modello sceglie un'azione presente nella allowlist. • Il sistema esegue l'azione e salva il risultato reale.
Il gate utilizza tre regole semplici:
- Se il risultato passato è stato un fallimento: Evitalo.
- Se il risultato passato è stato un successo e l'ambiente corrisponde: Usalo.
- Se il risultato passato è stato un successo ma l'ambiente è cambiato: Ispezionalo.
L'agente non può ripetere un fallimento noto. Il sistema rimuove le azioni errate prima ancora che il modello le veda. Ciò impedisce al modello di ignorare gli avvertimenti. Il modello fornisce creatività, ma il codice garantisce la sicurezza.
Dettagli tecnici: • Ho utilizzato Qwen Cloud per gli embedding e la selezione delle azioni. • text-embedding-v3 crea vettori a 1024 dimensioni. • Il recupero ibrido (hybrid retrieval) combina la somiglianza semantica e la sovrapposizione di parole chiave. • Il backend gira su Alibaba Cloud Function Compute con FastAPI. • La memoria risiede in ApsaraDB RDS for PostgreSQL.
FailureDNA impedisce all'agente di ripetere fallimenti storici e di utilizzare soluzioni obsolete. Mantiene il modello creativo garantendo al contempo la sicurezza del sistema.
Community di apprendimento opzionale: https://t.me/GyaanSetuAi