𝗧𝗵𝗲 𝗔𝗴𝗲𝗻𝘁 𝗥𝘂𝗻𝘁𝗶𝗺𝗲 𝗘𝘃𝗲𝗻𝘁 𝗠𝗼𝗱𝗲𝗹

Przestańcie kłócić się o frameworki agentowe.

Inżynierowie często pytają, czy powinni używać LangChain, CrewAI, czy zbudować własne rozwiązanie. To błędne pytanie. Prawdziwa decyzja dotyczy tego, gdzie w czasie wykonania agenta (agent runtime) zaimplementujesz polityki.

Frameworki się zmieniają. Architektoniczna potrzeba stosowania polityk pozostaje taka sama.

Każdy produkcyjny stos agentowy potrzebuje czterech konkretnych zdarzeń runtime, aby zapobiegać błędom i wyciekom danych:

• UserPromptSubmit: Zanim prompt dotrze do modelu. Użyj tego do blokowania sekretów i danych PII. • PreToolUse: Przed uruchomieniem narzędzia. Użyj tego do wymuszania budżetów kosztowych i białych list narzędzi. • PostToolUse: Po zwróceniu wyniku przez narzędzie. Użyj tego do skanowania pod kątem PII lub ataków typu injection. • Stop: Po zakończeniu pracy agenta. Użyj tego, aby zweryfikować, czy agent faktycznie wykonał zadanie.

Każde zdarzenie ma inne zadanie.

Przesyłanie promptu musi być szybkie. Musi trwać milisekundy, aby użytkownik nie musiał czekać. Zdarzenie Stop może trwać dłużej. Możesz pozwolić sobie na pełną sekundę, aby zweryfikować, czy agent faktycznie wykonał swoje zadanie, zanim użytkownik zobaczy wynik.

Musisz również zdecydować, jak mają zachowywać się Twoje hooki w przypadku błędu.

Jeśli hook bezpieczeństwa ulegnie awarii, powinieneś zastosować strategię fail closed. Lepiej odrzucić żądanie, niż dopuścić do wycieku sekretu. Jeśli awarii ulegnie kontrola jakości, możesz zastosować strategię fail open, aby użytkownik nadal otrzymał odpowiedź.

Frameworki to towar masowy. Twoim wyróżnikiem jest zakres stosowanych polityk.

Zadaj sobie te trzy pytania dotyczące Twojego obecnego stosu:

  1. Które zdarzenie zapobiega wyciekom sekretów w promptach?
  2. Które zdarzenie wyłapuje sytuację, w której agent kłamie, że ukończył zadanie?
  3. Które zdarzenie audytuje wyniki narzędzi pod kątem PII, zanim odczyta je model?

Jeśli nie potrafisz na nie odpowiedzieć, Twój agent nie jest gotowy do produkcji.

Źródło: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi