Ustaliliśmy limit kredytowy w wysokości 100 USD dla naszej floty dziesięciu agentów AI, a mechanizm ograniczający (throttle) zadziałał tego samego dnia, wstrzymując każde nowe zadanie, dopóki nie podnieśliśmy limitu. Incydent ten pokazuje, że pętla sterowania zareagowała natychmiast po przekroczeniu budżetu.

Dlaczego limit kredytowy jest ważny dla flot AI

Uruchomienie dziesięciu autonomicznych agentów na pojedynczym serwerze generuje stały strumień wywołań API, z których każde jest rozliczane na podstawie zużytych tokenów. Tradycyjne logi rejestrują to, co zrobili agenci – zapytania, odpowiedzi, znaczniki czasu – ale nie mówią nic o kosztach tych działań. Gdy flota się skaluje, ten niewidoczny rachunek może gwałtownie wzrosnąć, drenując budżety, zanim ktokolwiek to zauważy.

Przekształcanie logów w księgę rachunkową

Naszym pierwszym krokiem było zaprzestanie traktowania logów jako zwykłego tekstu i rozpoczęcie traktowania ich jako księgi finansowej. Każdy cykl agenta — zadanie → realizacja → ukończone — generuje teraz trzy wpisy do dziennika:

  • Pieniądze – przypisana wartość w USD wynikająca z liczby tokenów w zapytaniu.
  • Zobowiązania – otwarte zadania, które stanowią bieżące zobowiązanie, czyli pracę, która zostanie rozliczona po ukończeniu.
  • Praca – rzeczywiste jednostki pracy wykonane przez agenta.

Zamiast przeszukiwać plik logów komendą grep pod kątem frazy „error”, możemy teraz przeprowadzić prawdziwe zapytanie finansowe: „Pokaż wszystkie zobowiązania, których łączna wartość pieniężna przekracza 100 USD”. Księga czyni ukryte koszty widocznymi i przeszukiwalnymi.

System sterowania w pętli zamkniętej

Mechanizm limitu kredytowego działa w oparciu o czterostopniową pętlę, która działa w sposób ciągły:

  1. Pomiar – każda tura agenta dopisuje linię do logu wydatków, rejestrując zużycie tokenów i wynikającą z nich kwotę w dolarach.
  2. Wycena – system przelicza liczbę tokenów na USD przy użyciu aktualnego kursu.
  3. Alertowanie – monitor śledzi budżet kroczący. Jego stan zmienia się z none (brak ostrzeżenia) na warn (zbliżanie się do limitu) i cap (osiągnięcie limitu).
  4. Ograniczanie (Throttle) – bramka odczytuje aktualny stan i blokuje wysyłanie jakichkolwiek nowych zadań, gdy aktywny jest stan cap.

Okno budżetowe to pięciogodzinny okres kroczący, co oznacza, że system zawsze analizuje wydatki z ostatnich pięciu godzin, a nie sztywny blok kalendarzowy. Dzięki temu pętla pozostaje responsywna na nagłe skoki aktywności i zapobiega sytuacji, w której pojedynczy skok kosztów blokuje flotę na nieokreślony czas.

Pulpit nawigacyjny, który po prostu wyświetla wydatki, opowiada historię; to mechanizm ograniczający, który odczytuje tę liczbę i wstrzymuje wysyłkę zadań, stanowi rzeczywistą kontrolę.

Odporność w fazie projektowania

System kontroli wydatków, który stałby się pojedynczym punktem awarii, byłby kontrproduktywny. Zbudowaliśmy trzy zabezpieczenia:

  • Fails open (otwarta awaria) – jeśli narzędzie budżetowe ulegnie awarii, agenci nadal pracują. Wydatki mogą pozostać niekontrolowane, ale flota pozostaje operacyjna.
  • Ręczne obejście – operatorzy mogą nadpisać mechanizm ograniczający za pomocą kanału priorytetowego, co pozwala na kontynuowanie krytycznych zadań nawet po osiągnięciu limitu.
  • Automatyczne wznawianie – w miarę przesuwania się okna kroczącego, stare wydatki wypadają z obliczeń. Gdy łączna kwota spadnie poniżej limitu, bramka otwiera się automatycznie bez ingerencji człowieka.

Test: limit 100 USD kontra 156 USD istniejących wydatków

Uruchomiliśmy system z limitem 100 USD, podczas gdy niedawna aktywność floty wygenerowała już 156 USD wydatków. Mechanizm ograniczający zadziałał natychmiast, wstrzymując wszystkie nowe zadania. Gdy podnieśliśmy limit do 200 USD, bramka otworzyła się ponownie, a praca została wznowiona bez dalszych kroków manualnych.

Eksperyment potwierdził dwie rzeczy:

  1. Pętla sterowania reaguje w czasie rzeczywistym; nie ma opóźnienia między wykryciem przekroczenia a wyegzekwowaniem blokady.
  2. Operatorzy mogą dostosowywać limity na bieżąco, zapobiegając niepotrzebnym przestojom w przypadku prac o niskim priorytecie.

Wniosek: Traktowanie logów agentów jako księgi finansowej i zintegrowanie mechanizmu ograniczającego budżet kroczący z potokiem wysyłki zadań zapewnia natychmiastową i egzekwowalną ochronę przed nadmiernymi wydatkami. To tani i odporny mechanizm kontrolny, który działa już dziś; bardziej wyrafinowane polityki można dodać później, ale podstawowa pętla powinna być pierwszą linią obrony dla każdej floty agentów AI.