𝗧𝗵𝗲 𝗔𝗴𝗲𝗻𝘁 𝗥𝘂𝗻𝘁𝗶𝗺𝗲 𝗘𝘃𝗲𝗻𝘁 𝗠𝗼𝗱𝗲𝗹𝗹
Hört auf, über Agent-Frameworks zu streiten.
Ingenieure fragen oft, ob sie LangChain, CrewAI nutzen oder etwas Eigenes bauen sollten. Das ist die falsche Frage. Die eigentliche Entscheidung ist, wo Sie innerhalb Ihrer Agent-Runtime Policies implementieren.
Frameworks ändern sich. Der architektonische Bedarf an Policies bleibt gleich.
Jeder Agent-Stack für den Produktivbetrieb benötigt vier spezifische Runtime-Events, um Bugs und Sicherheitslücken zu vermeiden:
• UserPromptSubmit: Bevor der Prompt das Modell erreicht. Nutzen Sie dies, um Geheimnisse und PII zu blockieren. • PreToolUse: Bevor ein Tool ausgeführt wird. Nutzen Sie dies, um Kostenbudgets und Tool-Whitelists durchzusetzen. • PostToolUse: Nachdem ein Tool eine Antwort zurückgegeben hat. Nutzen Sie dies, um nach PII oder Injection-Angriffen zu suchen. • Stop: Nachdem der Agent fertig ist. Nutzen Sie dies, um zu verifizieren, ob der Agent die Aufgabe tatsächlich abgeschlossen hat.
Jedes Event hat eine andere Aufgabe.
Die Prompt-Übermittlung muss schnell sein. Sie muss in Millisekunden ablaufen, damit der Nutzer nicht warten muss. Das Stop-Event darf länger dauern. Sie können sich eine ganze Sekunde Zeit nehmen, um zu prüfen, ob der Agent seine Arbeit tatsächlich erledigt hat, bevor der Nutzer das Ergebnis sieht.
Sie müssen auch entscheiden, wie Ihre Hooks im Fehlerfall reagieren.
Wenn ein Security-Hook abstürzt, sollten Sie „fail closed“ agieren. Es ist besser, eine Anfrage abzulehnen, als ein Geheimnis preiszugeben. Wenn eine Qualitätsprüfung abstürzt, können Sie „fail open“ agieren, damit der Nutzer dennoch eine Antwort erhält.
Frameworks sind Commodity. Ihre Policy-Abdeckung ist Ihr Wettbewerbsvorteil.
Stellen Sie sich diese drei Fragen zu Ihrem aktuellen Stack:
- Welches Event verhindert das Durchsickern von Geheimnissen in Prompts?
- Welches Event erkennt, wenn ein Agent darüber lügt, eine Aufgabe abgeschlossen zu haben?
- Welches Event prüft Tool-Outputs auf PII, bevor das Modell sie liest?
Wenn Sie diese Fragen nicht beantworten können, ist Ihr Agent nicht bereit für den Produktivbetrieb.
Source: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
Optional learning community: https://t.me/GyaanSetuAi