Poza piaskownice: Budowanie trwałych agentów AI

Piaskownice to za mało dla agentów AI w środowisku produkcyjnym.

Większość programistów buduje agentów jako prostą pętlę w pamięci. LLM obserwuje, decyduje, działa i powtarza proces. To działa w laboratorium, ale zawodzi w prawdziwym świecie.

Dlaczego pętla w pamięci zawodzi?

  • Długotrwałe zadania: Jeśli agent potrzebuje dni na ukończenie zadania lub czeka na zatwierdzenie przez człowieka, utrzymywanie działającego procesu marnuje zasoby CPU i pamięci.
  • Brak odzyskiwania po awarii: Jeśli system ulegnie awarii lub nastąpi przerwanie połączenia sieciowego, tracisz cały stan. Nie możesz wznowić pracy od miejsca, w którym przerwałeś.
  • Złożoność: Wiele agentów ma trudności z komunikacją między sobą bez pisania ogromnych ilości dodatkowego kodu.

Virein Baraiya, CTO w Orkes, sugeruje lepsze podejście. Rozdziel odpowiedzialności (separate your concerns).

Używaj piaskownicy tylko do działań. Wykorzystaj piaskownicę do bezpiecznego uruchamiania ryzykownego kodu narzędzi.

Używaj trwałego środowiska runtime do rozumowania. LLM dostarcza plan, a system runtime zarządza wykonaniem i stanem.

Przedstawia on dwa narzędzia, które rozwiązują ten problem:

  1. Netflix Conductor To silnik workflow. Działa jak księga główna (ledger). Rejestruje każde wywołanie LLM i każde użycie narzędzia w bazie danych.
  • Obsługuje wstrzymywanie na żądanie. Jeśli agent czeka na człowieka, system wstrzymuje workflow i zwalnia całą pamięć.
  • Może zostać wzbudzony nawet po miesiącach, aby dokończyć zadanie.
  1. Agent Span To środowisko runtime zbudowane na bazie Conductor. Działa jako tłumacz.
  • Możesz korzystać z istniejących narzędzi, takich jak LangGraph czy OpenAI SDK.
  • Agent Span przekształca kod Twojego agenta w trwałe workflow bez konieczności przepisywania logiki biznesowej.

Ta architektura zapewnia trzy główne korzyści:

  • Barierki ochronne (Guardrails): To framework kontroluje reguły, a nie LLM. Zapobiega to wyrządzaniu szkód przez halucynacje.
  • Pełny audyt: Możesz sprawdzić dokładnie, dlaczego agent podjął daną decyzję, nawet po wielu miesiącach. Możesz nawet odtworzyć cały proces.
  • Lepsze testowanie: Możesz zmienić jeden wynik LLM i zobaczyć, jak zareaguje reszta systemu.

Ostatnia wskazówka dla twórców: Skup się na kontekście biznesowym. Modele się zmieniają. Frameworki się zmieniają. Ale specyficzny sposób, w jaki Twój biznes wykonuje zadania, jest Twoją prawdziwą przewagą (moat).

Źródło: https://dev.to/cognitalk/chao-yue-sha-xiang-wei-ai-agent-gou-jian-chi-jiu-hua-yun-xing-shi-2i9i

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi