Wir haben für unsere zehn Agenten umfassende KI-Flotte ein Kreditlimit von 100 $ festgelegt, und die Drosselung griff noch am selben Tag ein, wodurch jede neue Aufgabe gestoppt wurde, bis wir das Limit erhöhten. Der Vorfall zeigt, dass der Regelkreis sofort reagierte, als das Budget überschritten wurde.

Warum ein Kreditlimit für KI-Flotten wichtig ist

Der Betrieb von zehn autonomen Agenten auf einem einzigen Server erzeugt einen stetigen Strom von API-Aufrufen, die jeweils nach den verbrauchten Token abgerechnet werden. Traditionelle Logs erfassen, was die Agenten getan haben – Abfragen, Antworten, Zeitstempel –, aber sie sagen nichts darüber aus, wie viel diese Aktionen gekostet haben. Wenn eine Flotte skaliert, kann diese unsichtbare Rechnung explodieren und Budgets erschöpfen, bevor es jemand bemerkt.

Logs in ein Hauptbuch verwandeln

Unser erster Schritt bestand darin, Logs nicht mehr als reinen Text zu behandeln, sondern als Finanzbuchhaltung (Ledger). Jeder Agenten-Zyklus – Aufgabe → Verarbeitung → Erledigt – erzeugt nun drei Buchungssätze:

  • Geld (Money) – ein zugewiesener USD-Wert, der sich aus der Token-Anzahl der Anfrage ableitet.
  • Versprechen (Promises) – offene Aufgaben, die eine bestehende Verbindlichkeit darstellen, d. h. Arbeit, die nach Abschluss abgerechnet wird.
  • Arbeit (Labour) – die tatsächlichen Arbeitseinheiten, die der Agent ausgeführt hat.

Anstatt eine Logdatei nach „error“ zu durchsuchen (greppen), können wir nun eine echte Finanzabfrage durchführen: „Zeige alle Versprechen, deren Geldwert 100 $ übersteigt.“ Das Hauptbuch macht die versteckten Kosten sichtbar und durchsuchbar.

Das Closed-Loop-Regelsystem

Der Kreditlimit-Mechanismus folgt einem vierstufigen Regelkreis, der kontinuierlich abläuft:

  1. Messen (Measure) – jeder Agenten-Durchlauf fügt eine Zeile zu einem Ausgaben-Log hinzu, in der der Token-Verbrauch und der daraus resultierende Dollar-Betrag aufgezeichnet werden.
  2. Preisen (Price) – das System rechnet die Token-Anzahl unter Verwendung des aktuellen Kurses in USD um.
  3. Alarmieren (Alert) – ein Monitor überwacht das rollierende Budget. Sein Status wechselt von none (keine Warnung) zu warn (Limit wird sich genähert) zu cap (Limit erreicht).
  4. Drosseln (Throttle) – das Gate liest den aktuellen Status und blockiert den Versand neuer Aufgaben, wenn das Limit (Cap) aktiv ist.

Das Budgetfenster ist ein rollierender Fünf-Stunden-Zeitraum. Das bedeutet, dass das System immer die Ausgaben der letzten fünf Stunden betrachtet und nicht einen festen Kalenderblock. Dies hält den Regelkreis reaktionsfähig auf Aktivitätsschübe und verhindert, dass ein einzelner Peak die Flotte auf unbestimmte Zeit blockiert.

Ein Dashboard, das lediglich die Ausgaben anzeigt, erzählt eine Geschichte; die Drosselung, die diese Zahl liest und den Versand stoppt, ist die eigentliche Steuerung.

Resilienz durch Design

Ein Ausgabenkontrollsystem, das zu einem Single Point of Failure wird, wäre kontraproduktiv. Wir haben drei Schutzmaßnahmen eingebaut:

  • Fails open – Wenn das Budget-Tool abstürzt, laufen die Agenten weiter. Die Ausgaben werden möglicherweise nicht kontrolliert, aber die Flotte bleibt betriebsbereit.
  • Manueller Bypass – Operatoren können die Drosselung über einen Prioritätskanal umgehen, sodass kritische Aufgaben auch dann fortgesetzt werden können, wenn das Limit erreicht ist.
  • Automatisches Fortsetzen (Auto-resume) – Während das rollierende Fenster voranschreitet, fallen alte Ausgaben aus der Berechnung heraus. Sobald der Gesamtbetrag unter das Limit fällt, öffnet sich das Gate automatisch ohne menschliches Eingreifen wieder.

Der Test: 100 $ Limit gegenüber 156 $ bestehenden Ausgaben

Wir haben das System mit einem Limit von 100 $ gestartet, obwohl die jüngsten Aktivitäten der Flotte bereits Ausgaben in Höhe von 156 $ verursacht hatten. Die Drosselung griff sofort ein und stoppte alle neuen Aufgaben. Als wir das Limit auf 200 $ erhöhten, öffnete sich das Gate wieder und die Arbeit wurde ohne weitere manuelle Schritte fortgesetzt.

Das Experiment bestätigte zwei Dinge:

  1. Der Regelkreis reagiert in Echtzeit; es gibt keine Verzögerung zwischen der Erkennung der Überschreitung und der Durchsetzung.
  2. Operatoren können Limits laufend anpassen, was unnötige Ausfallzeiten für Aufgaben mit niedriger Priorität verhindert.

Fazit: Wenn man Agenten-Logs wie ein Finanzbuch behandelt und eine Drosselung basierend auf einem rollierenden Budget in die Dispatch-Pipeline integriert, erhält man einen sofortigen, durchsetzbaren Schutz gegen Budgetüberschreitungen. Es ist eine kostengünstige, resiliente Steuerung, die heute bereits funktioniert; komplexere Richtlinien können später hinzugefügt werden, aber der grundlegende Regelkreis sollte die erste Verteidigungslinie für jede KI-Agenten-Flotte sein.