Wewnątrz agenta AI

Demo agentów AI wyglądają świetnie w filmach. Często zawodzą jednak, gdy zada się im prawdziwe pytania.

Agent robi coś niewłaściwego. Zapomina o podjętych decyzjach. Wywołuje narzędzia, które nie istnieją. Wpada w nieskończoną pętlę. To nie są błędy modelu. To błędy przepływu pracy (workflow).

Agent to programowy przepływ pracy (workflow). Model językowy wybiera kolejny krok i wywołuje narzędzia. Inteligencja tkwi w orkiestracji, a nie tylko w samym modelu.

Każdy agent produkcyjny opiera się na pięciu filarach:

  • Planowanie: Myślenie przed działaniem.
  • Używanie narzędzi: Interakcja ze światem.
  • Pamięć: Przechowywanie kontekstu i faktów.
  • Ograniczenia: Wyznaczanie granic i budżetów.
  • Weryfikacja: Potwierdzanie poprawności wykonanej pracy.

Style planowania

Naiwne agenty przechodzą od razu do działania. Prowadzi to do halucynacji. Dobry agent najpierw planuje.

  1. Plan-then-execute: Model tworzy pełny plan. Jest on łatwy do audytu, ale trudny do dostosowania, jeśli rzeczywistość ulegnie zmianie.
  2. ReAct (Reason + Act): Model myśli, działa i obserwuje w pętli. Jest bardziej adaptacyjny, ale kosztuje więcej tokenów i czasu.

Używanie narzędzi

Bez narzędzi agent jest tylko chatbotem. Narzędzie potrzebuje nazwy, schematu JSON i funkcji.

Modele wybierają narzędzia na podstawie opisów. Jeśli opis jest niejasny, agent zawiedzie. Traktuj opisy jak specyfikacje techniczne. Zdefiniuj, do czego narzędzie służy, a do czego nie.

Zawsze waliduj wywołania narzędzi. Jeśli model prześle błędne argumenty, odrzuć wywołanie i przekaż błąd z powrotem do modelu. Pomaga to agentowi uczyć się w trakcie trwania pętli.

Pamięć

Pamięć to nie tylko jedna rzecz.

  • Pamięć operacyjna (Working Memory): Bieżąca konwersacja i wyniki narzędzi.
  • Notatnik (Scratchpad): Miejsce, w którym agent może zapisywać notatki dla samego siebie.
  • Pamięć długotrwała: Przechowywanie faktów na potrzeby przyszłych sesji.

Nie polegaj wyłącznie na bazach wektorowych. Pamięć oparta na plikach (np. przy użyciu plików Markdown) jest często lepsza. Łatwo ją audytować, edytować i przeszukiwać za pomocą grep.

Ograniczenia i bezpieczeństwo

Agenci produkcyjni potrzebują barier ochronnych (guardrails). Skorzystaj z tych czterech:

  • Białe listy narzędzi: Pozwalaj tylko na konkretne, nazwane narzędzia.
  • Budżety iteracji: Ogranicz liczbę kroków, aby zapobiec nieskończonym pętlom.
  • Budżety tokenów: Ogranicz koszty poprzez ustalenie limitu całkowitej liczby tokenów.
  • Bramki zatwierdzania: Wymagaj zgody człowieka przy działaniach o wysokim ryzyku, takich jak wysyłanie e-maili czy usuwanie danych.

Weryfikacja

Nigdy nie ufaj modelowi, gdy twierdzi, że zadanie zostało wykonane. Modele są pewne siebie domyślnie.

Stosuj rzeczywistą weryfikację. Jeśli agent pisze kod, uruchom testy. Jeśli generuje JSON, sprawdź schemat. Jeśli wykonuje zadanie, uruchom zapytanie, aby potwierdzić zmianę.

Najlepsze agenty stosują weryfikację wewnątrz pętli. Jeśli test zakończy się niepowodzeniem, przekaż błąd z powrotem do agenta. Pozwól mu spróbować ponownie.

Przestań gonić za mądrzejszymi promptami. Zacznij budować lepszą infrastrukturę.

Source: https://dev.to/nazar_boyko/inside-an-ai-agent-planning-tool-use-memory-constraints-and-verification-2fcc

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi