The Confabulation Cascade

Mój agent AI utknął w pętli.

Generował zapytanie SQL z nieistniejącą nazwą kolumny. Baza danych zwracała błąd. Komunikat o błędzie zawierał listę rzeczywistych kolumn. Agent czytał poprawkę. Następnie ponownie wpisywał dokładnie tę samą błędną nazwę kolumny.

Nazywam to kaskadą konfabulacji.

To nie jest problem modelu. To problem z projektem narzędzia.

Oto jak działa ta pętla:

  • Agent generuje zapytanie na podstawie swojego treningu.
  • Zapytanie kończy się niepowodzeniem.
  • Komunikat o błędzie dostarcza prawdy.
  • Agent widzi prawdę, ale zamiast tego polega na swoim wewnętrznym treningu.
  • Agent powtarza błąd.

Agent napotyka dwa sygnały. Jednym jest komunikat o błędzie. Drugim jest trening modelu. Trening jest często silniejszy. Komunikat o błędzie pojawia się tylko raz. Trening towarzyszy każdemu słowu, które wypisuje model.

Próbowałem to naprawić za pomocą prompt engineeringu. Powiedziałem modelowi, aby zwracał uwagę na błędy. To nie zadziałało.

Prawdziwym problemem jest to, że mój agent mógł uczyć się tylko poprzez błędy. Nie miał sposobu, aby sprawdzić strukturę tabeli przed podjęciem działania. Musiał zgadywać.

Jeśli dajesz człowiekowi API, dajesz mu dokumentację. Nie zmuszasz go do wysyłania błędnych żądań, dopóki komunikaty o błędach nie nauczą go schematu.

Naprawiłem to, budując proaktywne narzędzie. Zamiast czekać na błąd, agent najpierw wywołuje narzędzie describe_table.

Nowy przepływ pracy:

  • Agent chce wykonać zapytanie do tabeli.
  • Agent wywołuje describe_table, aby zobaczyć rzeczywiste kolumny.
  • Agent otrzymuje poprawne nazwy i typy.
  • Agent pisze poprawne zapytanie za pierwszym razem.

Pętla została przerwana. Model nie stał się mądrzejszy. Agent po prostu przestał zgadywać.

Jeśli Twoje agenty korzystają z baz danych lub API, zadaj sobie pytanie: Czy potrafią zweryfikować strukturę przed działaniem? Czy uczą się tylko poprzez błędy?

Reaktywne podpowiedzi błędów są dobre. Ale to za mało. Agent, który uczy się tylko przez porażki, jest zawsze o krok od halucynacji.

Twórz narzędzia, które pozwalają agentom zadawać pytania, zanim popełnią błędy.

Source: https://dev.to/niclydon/the-confabulation-cascade-when-your-agent-learns-nothing-from-its-own-mistakes-m08

Optional learning community: https://t.me/GyaanSetuAi