AI Agent Rollback Plan: Herstel foutieve acties voordat gebruikers het vertrouwen verliezen
Een betrouwbare AI-agent hoeft niet perfect te zijn. Hij moet weten hoe hij moet stoppen, zijn fout moet uitleggen en moet kunnen herstellen.
Als je agent het verkeerde CRM-veld bijwerkt of een dubbele betaling verstuurt, zal een eenvoudige retry de schade niet herstellen. Je hebt een rollback-plan nodig voordat je met een echt incident te maken krijgt.
Nu agents verschuiven van chat naar echt werk, veranderen ze de status (mutate state). Dit maakt rollback een productfunctie, en niet alleen een backend-taak.
Veelvoorkomende foutmodi:
- De agent gebruikt het verkeerde record-ID.
- Een retry herhaalt een actie twee keer.
- Een overstap naar een ander model verandert de werking van een tool.
- Een workflow wordt hervat met verouderd geheugen.
- Een gedeeltelijke sequentie laat data inconsistent achter.
Hoe je een herstellaag bouwt:
Gebruik een Action Ledger Vertrouw niet alleen op logs. Maak een ledger aan die elke statuswijziging bijhoudt. Elke tool-aanroep moet zowel vóór als na de uitvoering een vermelding maken. Dit is je 'source of truth' voor herstel.
Classificeer je acties Niet elke actie is hetzelfde.
- Alleen-lezen: Geen rollback nodig.
- Interne updates: Herstel de vorige waarde vanuit een snapshot.
- Externe omkeerbare acties: Verwijder het event of update de status.
- Externe onomkeerbare acties: Gebruik compensatie in plaats van een echte undo. Bij e-mails of betalingen kun je ze niet "ongedaan maken". Je moet een correctie of een terugbetaling sturen.
Forceer idempotentie Het model dwingt geen idempotentie af. Jouw tool-runtime moet dat wel doen. Gebruik idempotentie-sleutels om te garanderen dat als een agent een taak opnieuw probeert, er geen dubbele neveneffecten ontstaan.
Gebruik het Saga-patroon Voor langdurige workflows heeft elke voorwaartse actie een compenserende actie nodig.
- Een taak aanmaken? De compensatie is het verwijderen of annuleren ervan.
- Een veld bijwerken? De compensatie is het herstellen van de oude waarde.
- Een e-mail versturen? De compensatie is het versturen van een correctie.
Implementeer checkpoints Stop met het vragen aan het model om "uit te zoeken waar we waren" na een crash. Gebruik checkpoints om de huidige status, voltooide acties en openstaande taken op te slaan. Het systeem moet het checkpoint laden om het werk te hervatten.
Bouw een herstelwachtrij (recovery queue) Wanneer een verificatiestap mislukt, verplaats de taak dan naar een herstelwachtrij. Dit stelt je in staat om de taak te hervatten, te compenseren of af te sluiten. Vraag bij fouten met een hoog risico altijd om goedkeuring van een mens.
Vertrouwen wordt opgebouwd door zichtbaar herstel. Wanneer een agent een fout maakt, gebruik dan geen vage taal. Vertel de gebruiker precies wat er is veranderd, waarom het gebeurde en hoe je het hebt opgelost.
Bouw je rollback-plan voordat het eerste incident plaatsvindt.
Optionele leercommunity: https://t.me/GyaanSetuAi