Entwicklung eines AI-Agent-Playgrounds vor dem Produktivbetrieb

Ein Coding-Agent führte einmal ein Bereinigungsskript gegen eine Datenbank aus, von der er glaubte, es sei eine Staging-Datenbank. Tatsächlich war es jedoch die Produktionsumgebung. Der Agent löschte vier Monate an Kundenbestellungen, weil er genau das tat, was ihm mit den falschen Zugangsdaten angewiesen wurde.

Dieses Scheitern ist kein Grund, Agenten zu meiden. Es ist ein Grund, einen Playground zu bauen.

Man würde einem neuen Ingenieur am ersten Tag keinen Zugriff auf die Produktionsdatenbank geben. Man gibt ihm eine Staging-Umgebung, Lesezugriff und beaufsichtigte Aufgaben. Agenten benötigen dasselbe Onboarding. Sie können tausend Aktionen pro Minute ausführen, daher ist der Preis für das Überspringen eines Playgrounds tausendmal höher.

Ein echter Playground muss drei Dinge tun:

  • Dem Agenten ermöglichen, seine vollständige Entscheidungsschleife (Decision Loop) durchzulaufen.
  • Verhindern, dass Seiteneffekte reale Systeme erreichen.
  • Alles zur Überprüfung aufzeichnen.

Testen Sie nicht nur den Prompt. Das Testen eines Prompts bedeutet, eine Frage zu stellen und eine Antwort zu lesen. Das Verhalten eines Agenten ist eine Sequenz von Tool-Aufrufen. Die eigentlichen Fehler passieren mitten in einer Schleife, wenn ein Tool unerwartete Daten zurückgibt.

Sie müssen nicht das Modell in eine Sandbox setzen. Sie müssen den Executor in eine Sandbox setzen.

Setzen Sie eine Trennschicht (Seam) dort an, wo Tool-Aufrufe in Aktionen umgewandelt werden. Verwenden Sie einen Playground-Executor, der Mocks anstelle eines Live-Executors nutzt. Die Agentenschleife sollte keinen Unterschied bemerken. Wenn Ihr Agent einen Datenbank-Client direkt aufruft, haben Sie weder eine Trennschicht noch Sicherheit.

Testen Sie drei spezifische Bereiche:

  • Verhalten: Wählt der Agent das richtige Tool in der richtigen Reihenfolge?
  • Tool-Aufrufe: Sind die Argumente korrekt und innerhalb sicherer Grenzen?
  • Fehlermodi: Was passiert, wenn eine API ein Timeout verursacht oder Müll zurückgibt?

Ein Mock, der immer erfolgreich ist, lehrt den Agenten nichts. Ihr Playground muss es Ihnen ermöglichen, Fehler wie Netzwerk-Timeouts oder fehlerhafte Daten zu injizieren. So sehen Sie, ob ein Agent sinnvoll wiederholt (retries) oder anfängt zu halluzinieren.

Wenn Ihr Agent Code ausführt, benötigen Sie eine starke Isolation. Verwenden Sie MicroVMs für nicht vertrauenswürdigen Code. Beginnen Sie nicht einfach mit einfachen Containern, nur weil sie leicht einzurichten sind. Ein einfaches Setup kann zu einem massiven Sicherheitsvorfall führen.

Denken Sie daran, dass Agenten nicht-deterministisch sind. Ein Test, der einmal besteht, bedeutet nicht, dass der Agent zuverlässig ist. Sie müssen dieselbe Aufgabe mehrmals ausführen. Wenn ein Agent in 7 von 10 Fällen besteht, wird er bei etwa 30 % Ihrer echten Nutzer scheitern. Konsistenz ist Ihre wichtigste Metrik.

Schützen Sie sich schließlich vor adversen Tool-Ausgaben. Ein Agent behandelt Tool-Daten wie Anweisungen. Ein böswilliger Nutzer könnte eine Datenbank mittels Prompt-Injection manipulieren, um den Agenten zu steuern. Testen Sie Ihren Agenten, indem Sie ihm im Playground feindselige Payloads zuführen.

Bauen Sie einen Graduierungspfad, keinen Startknopf:

  • Beginnen Sie mit Mocks und vollständigem Sandboxing.
  • Testen Sie die Konsistenz über viele Durchläufe hinweg.
  • Testen Sie gegen adversen Input.
  • Wechseln Sie zu einem Dry-Run-Modus mit produktionsähnlichen Daten.
  • Erst dann gewähren Sie eingeschränkten, kontrollierten und überwachten Zugriff.

Geben Sie Ihrem Agenten einen Ort, an dem er kostengünstig Fehler machen kann. Dann kann er dort richtig liegen, wo es darauf ankommt.

Source: https://dev.to/nazar_boyko/building-an-ai-agent-playground-before-giving-it-production-access-4glh

Optional learning community: https://t.me/GyaanSetuAi