Dokładny stack technologiczny, którego używam do budowania agentów AI na produkcję

Demo pokazują jedno. Systemy produkcyjne pokazują drugie. Istnieje między nimi przepaść, którą wielu ludzi ignoruje.

Teraz wszystko nazywa się agentem. Chatbot z pamięcią to agent. Skrypt z pętlą to agent. Ten błąd prowadzi do złego inżynieringu. Kończysz z nadmiernym projektowaniem prostych zadań i niedostatecznym projektowaniem złożonych.

Agent musi mieć cel. Nie powinien tylko wykonywać instrukcji. Prawdziwy agent decyduje, co zrobić dalej. Radzi sobie z błędami. Wie, kiedy praca została zakończona.

Sprawdź swój system pod kątem tych zasad:

  • Jeśli człowiek musi prowadzić system na każdym kroku, jest to interfejs czatu, a nie agent.
  • Jeśli system potrafi podnieść się po nieudanym wywołaniu narzędzia, budujesz agenta.
  • Jeśli system dzieli cel na podzadania, masz prawdziwego agenta.

Skuteczne zespoły nie budują ogólnych silników rozumowania. Budują wąskie, wyspecjalizowane potoki (pipelines). Skupiają się na trzech rzeczach:

  • Projektowanie narzędzi: Tworzenie czystych interfejsów, które agent może wywoływać.
  • Obsługa błędów: Decydowanie, co zrobić, gdy narzędzie nie zwraca żadnych danych.
  • Obserwowalność: Śledzenie, dlaczego agent podjął konkretną decyzję.

Frameworki takie jak LangChain czy CrewAI zmieniają się co miesiąc. Framework ma mniejsze znaczenie niż wzorce. Używaj tych wzorców, aby odnieść sukces:

  • Najpierw planuj, potem wykonuj: Użyj jednego kroku do stworzenia planu, a oddzielnego kroku do jego realizacji.
  • Oddziel pobieranie danych od rozumowania: Pozyskiwanie kontekstu to inne zadanie niż jego wykorzystywanie.
  • Jawne przekazywanie zadań: Używaj ustrukturyzowanych logów, gdy jeden agent przekazuje pracę drugiemu.

RAG to standard, ale większość ludzi zawodzi przy chunkingu. Jeśli źle podzielisz tekst, model straci kontekst i zacznie halucynować. Jeśli Twoje wyniki są bezużyteczne, sprawdź metadane i strategie chunkingu, zanim zaczniesz obwiniać model.

Wyzwaniem nie jest gonienie za benchmarkami. Wyzwaniem jest budowanie systemów, którym możesz ufać, że będą działać, gdy nie patrzysz. Skup się na zarządzaniu (governance), obserwowalności i niezawodnym korzystaniu z narzędzi.

Najlepsi inżynierowie skupią się na projektowaniu systemów, a nie tylko na prompt engineeringu. Buduj systemy, które inni ludzie będą mogli utrzymywać.

Źródło: https://dev.to/aibughunter/the-exact-stack-i-use-to-build-production-ai-agents-no-fluff-2lmp