Framework Zarządzania Agentową AI
Statyczne polityki w formacie PDF nie mogą zarządzać dynamicznymi agentami AI. Jeśli będziesz wymagać ręcznej aprobaty dla każdej akcji agenta, stracisz na szybkości.
Aby skalować działania, musisz przejść z modelu Human-in-the-Loop (HITL) na Human-on-the-Loop (HOTL). W modelu HITL ludzie stanowią wąskie gardło. W modelu HOTL ludzie pełnią rolę architektów, którzy budują barierki ochronne (guardrails) i monitorują systemy.
Spektrum Autonomii
Nie powinieneś traktować agenta ds. zakupów tak samo jak agenta DevOps. Skategoryzuj swoich agentów według ich uprawnień decyzyjnych:
• Doradczy (niska autonomia): Agent sugeruje działania. Człowiek je wykonuje. • Półautonomiczny (średnia autonomia): Agent działa w bezpiecznej strefie. Prosi o pomoc tylko wtedy, gdy napotka ograniczenie. • W pełni autonomiczny (wysoka autonomia): Agent zarządza celami od początku do końca wewnątrz piaskownicy (sandbox).
Przykład: Agent wsparcia może dokonywać zwrotów do kwoty 50 USD. Jeśli kwota wynosi 51 USD, agent musi przerwać działanie i zapytać człowieka. Zapobiega to rozmyciu uprawnień (authority drift).
Przestań polegać na promptach w kwestii bezpieczeństwa
Prompty systemowe to sugestie, a nie reguły. Mają charakter probabilistyczny. W środowisku produkcyjnym sugestia jest luką w bezpieczeństwie. Musisz oddzielić proces rozumowania od egzekwowania zasad.
Zastosuj obronę warstwową:
- Warstwa promptu: Dostarcza intencję i wytyczne.
- Warstwa guardrail: Deterministyczna warstwa pośrednia (middleware), która waliduje działania względem sztywnych reguł.
- Warstwa API: Wymusza zarządzanie tożsamością i dostępem na poziomie zasobów.
Taka konfiguracja zapobiega prompt injection. Jeśli guardrail znajduje się na poziomie middleware, sztuczka w prompcie nie zadziała.
Obserwowalność i Kill Switch
Standardowe logi to za mało. Musisz logować proces rozumowania (Chain-of-Thought, CoT). Musisz wiedzieć, dlaczego agent uznał, że dane działanie jest poprawne.
Aby zapobiec kaskadowym awariom w wieloagentowych przepływach pracy, zaimplementuj protokół Kill Switch. Musi on:
- Unieważnić wszystkie aktywne tokeny.
- Przerwać wszystkie wątki wykonawcze.
- Zamrozić stan do celów audytowych.
- Powiadomić inżyniera, przesyłając pięć ostatnich kroków rozumowania.
Dynamiczne nadawanie uprawnień
Agenci nie powinni posiadać stałych uprawnień. Stosuj dostęp Just-in-Time (JIT). Agent prosi o krótkożyjący token tylko wtedy, gdy musi wywołać konkretne API. Zapewnia to, że tożsamość agenta pozostaje powiązana z intencją zatwierdzoną przez człowieka.
Kluczowe wnioski dla inżynierów platform:
- Przenieś zarządzanie z promptów do middleware.
- Wdróż dostęp JIT, aby zapobiec lukom w zabezpieczeniach.
- Loguj kroki rozumowania, a nie tylko wejścia i wyjścia.
- Stosuj sztywne limity tokenów, aby zapobiec błędom wynikającym z rekurencyjnych pętli.
Źródło: https://dev.to/omnithium/the-agentic-ai-governance-framework-balancing-autonomy-and-control-2occ
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi