10台のAIエージェント・フリートに100ドルのクレジット制限を設定したところ、その日のうちにスロットルが作動し、上限を引き上げるまですべての新規タスクが停止しました。この事象は、予算を超過した瞬間にコントロールループが即座に機能したことを示しています。
AIフリートにおいてクレジット制限が重要な理由
単一のサーバーで10台の自律エージェントを稼働させると、APIコールが絶え間なく発生し、その都度消費されたトークン量に応じて課金されます。従来のログは、エージェントが何をしたか(クエリ、レスポンス、タイムスタンプ)は記録しますが、それらのアクションにどれだけのコストがかかったかについては何も語りません。フリートがスケールアップすると、その「見えない請求書」は爆発的に膨れ上がり、誰かが気づく前に予算を使い果たしてしまう可能性があります。
ログを財務台帳へと変える
最初のステップは、ログを単なるテキストとして扱うのをやめ、財務台帳として扱い始めることでした。現在、すべてのエージェントのサイクル(タスク $\rightarrow$ 実行中 $\rightarrow$ 完了)は、以下の3つの仕訳を生成します。
- Money(金額) – リクエストのトークン数から算出された、推定USD価値。
- Promises(プロミス) – 未決済のタスク。これは、完了時に課金される予定の、継続的な負債を表します。
- Labour(作業量) – エージェントが実行した実際の作業ユニット。
ログファイルに対して「error」をgrepする代わりに、「金額の合計が100ドルを超えるすべてのプロミスを表示せよ」といった、真の財務クエリを実行できるようになりました。台帳によって、隠れたコストが可視化され、検索可能になります。
クローズドループ制御システム
クレジット制限メカニズムは、継続的に実行される4段階のループに従います。
- Measure(計測) – 各エージェントのターンごとに、トークン使用量と算出されたドル額を記録した行を支出ログに追加します。
- Price(価格設定) – システムが現在のレートを使用して、トークン数をUSDに変換します。
- Alert(警告) – モニターがローリング予算を監視します。その状態は、none(警告なし)から warn(制限に接近)、そして cap(制限到達)へと遷移します。
- Throttle(制限) – ゲートが現在の状態を読み取り、cap が有効な場合は新しいタスクのディスパッチをブロックします。
予算ウィンドウは5時間のローリング期間です。つまり、システムは固定されたカレンダーブロックではなく、常に直近5時間の支出を参照します。これにより、活動の急増に対してループが迅速に反応し、単一のスパイクによってフリートが永久にロックされるのを防ぎます。
単に支出を表示するだけのダッシュボードは「物語」を語るに過ぎませんが、その数値を読み取ってディスパッチを停止させるスロットルこそが、真の「制御」なのです。
設計によるレジリエンス(回復力)
単一障害点(SPOF)となってしまう支出制御システムは、本末転倒です。私たちは3つのセーフガードを構築しました。
- Fails open(フェイルオープン) – 予算管理ツールがクラッシュしても、エージェントは稼働を続けます。支出はチェックされない可能性がありますが、フリートの運用は維持されます。
- Manual bypass(手動バイパス) – オペレーターは優先チャネルを介してスロットルをオーバーライドでき、制限に達している場合でも重要なジョブを続行させることができます。
- Auto-resume(自動再開) – ローリングウィンドウがスライドするにつれて、古い支出が計算から除外されます。合計額が制限を下回ると、ゲートは人の手を介さずに自動的に再開されます。
テスト:100ドルの制限 vs 既存の156ドルの支出
フリートの直近の活動ですでに156ドルの支出が発生している状態で、100ドルの制限を設けてシステムを稼働させました。スロットルは即座に作動し、すべての新規タスクを停止しました。上限を200ドルに引き上げると、ゲートが開き、追加の手順なしに作業が再開されました。
この実験により、2つのことが確認されました。
- コントロールループはリアルタイムで反応する。超過の検知から強制執行までのラグはない。
- オペレーターは制限を即座に調整できるため、優先度の低い作業による不必要なダウンタイムを防ぐことができる。
まとめ: エージェントのログを財務台帳として扱い、ローリング予算のスロットルをディスパッチ・パイプラインに組み込むことで、過剰支出に対する即時かつ強制力のあるガードを構築できます。これは、今日すぐに利用可能な、安価でレジリエントな制御手段です。より洗練されたポリシーは後から追加できますが、基本的なループこそが、あらゆるAIエージェント・フリートにとっての第一防衛線であるべきです。
