Budowanie playgroundu dla agentów AI przed wdrożeniem produkcyjnym

Pewien agent programistyczny uruchomił skrypt czyszczący na bazie danych, którą uznał za stagingową. W rzeczywistości była to baza produkcyjna. Agent usunął zamówienia klientów z ostatnich czterech miesięcy, ponieważ zrobił dokładnie to, o co go poproszono, używając niewłaściwych poświadczeń.

Ta porażka nie jest powodem, by unikać agentów. Jest powodem, by zbudować playground.

Nie dawałbyś nowemu inżynierowi dostępu do bazy produkcyjnej pierwszego dnia pracy. Dajesz mu środowisko stagingowe, dostęp tylko do odczytu i nadzorowane zadania. Agenci potrzebują takiego samego wdrożenia. Mogą podejmować tysiąc działań na minutę, więc koszt pominięcia etapu testowego jest tysiąckrotnie wyższy.

Prawdziwy playground musi robić trzy rzeczy:

  • Pozwalać agentowi na pełną pętlę decyzyjną.
  • Blokować wszelkie skutki uboczne, aby nie dotarły do rzeczywistych systemów.
  • Rejestrować wszystko do późniejszej inspekcji.

Nie testuj samego promptu. Testowanie promptu to zadawanie pytania i czytanie odpowiedzi. Zachowanie agenta to sekwencja wywołań narzędzi (tool calls). Prawdziwe awarie zdarzają się w środku pętli, gdy narzędzie zwraca nieoczekiwane dane.

Nie musisz izolować modelu. Mus