Koszt pętli agenta: 11-krotność Twojej wyceny za pojedyncze wywołanie
Większość zespołów planuje budżet na agentów AI, patrząc na koszt pojedynczego wywołania. Widzą cenę za milion tokenów i szacują koszt jednej akcji. To podejście jest błędne.
Pętla agenta nie kosztuje tyle samo, co pojedyncze wywołanie. Kosztuje znacznie więcej.
Powód jest prosty. Za każdym razem, gdy agent wykonuje wywołanie narzędzia (tool call), przesyła ponownie cały kontekst. Ponownie płacisz za system prompt. Ponownie płacisz za każdy opis narzędzia. Ponownie płacisz za całą historię konwersacji.
W miarę trwania pętli, rozmiar przesyłanych danych (payload) rośnie. Koszt rośnie kwadratowo. Nie płacisz za pojedyncze wywołanie. Płacisz za pole pod rosnącą krzywą.
Stworzyłem narzędzie, aby to zmierzyć. Jest to 40-liniowy skrypt Python o nazwie loop_forecast.py. Działa offline, nie wymaga kluczy i odczytuje Twoje trace'y w formacie JSONL. Powie Ci o rzeczywistym koszcie, zanim wdrożysz swój kod.
W moim teście wyniki były jasne:
- Szacowany koszt na wywołanie: $0.20
- Zmierzony efektywny koszt zadania: $2.26
- Luka: 11,29x
Jeśli Twoja pętla jest krótka i prosta, narzędzie wykaże niewielką różnicę. Jeśli Twoja pętla jest rozbudowana, pokaże ogromne przekroczenie. Możesz użyć tego jako bramki CI. Jeśli luka kosztowa jest zbyt wysoka, build zakończy się niepowodzeniem.
Przestań planować budżet w oparciu o pojedynczą inferencję. Użyj własnych trace'ów, aby poznać swoją rzeczywistą liczbę.
Kluczowe funkcje:
- Brak konieczności dostępu do sieci lub kluczy API.
- Wykorzystuje
tiktokendo dokładnego liczenia. - Dostarcza metrykę krzywizny (k), aby pokazać, jak skalują się koszty.
- Deterministyczny wynik dla niezawodnego CI/CD.
Błędem jest mylenie jednostek. Zadanie to nie jedno wywołanie. Zadanie to N wywołań, z których każde wiąże się z rosnącym „podatkiem”.
Źródło: https://dev.to/alex_spinov/agent-loop-cost-11x-your-per-call-quote-in-40-lines-5dfn
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi