Kami menetapkan had kredit sebanyak $100 pada armada AI sepuluh ejen kami dan sistem kawalan (throttle) mula berfungsi pada hari yang sama, menghentikan setiap tugasan baharu sehingga kami menaikkan had tersebut. Insiden ini menunjukkan gelung kawalan (control loop) bertindak serta-merta apabila bajet telah dilampaui.

Mengapa had kredit penting untuk armada AI

Menjalankan sepuluh ejen autonomi pada satu pelayan menghasilkan aliran panggilan API yang berterusan, di mana setiap satu dicaj berdasarkan token yang digunakan. Log tradisional merakam apa yang dilakukan oleh ejen—pertanyaan, respons, cap masa—tetapi ia tidak memberitahu tentang kos tindakan tersebut. Apabila sesebuah armada berkembang, bil yang tidak kelihatan itu boleh melonjak, menghabiskan bajet sebelum sesiapa menyedarinya.

Langkah pertama kami adalah berhenti menganggap log sebagai teks biasa dan mula melayannya sebagai lejar kewangan. Setiap kitaran ejen—tugasan → sedang diambil → selesai—kini menghasilkan tiga catatan jurnal:

  • Wang – nilai USD anggaran yang diperoleh daripada jumlah token permintaan.
  • Janji – tugasan terbuka yang mewakili liabiliti sedia ada, iaitu kerja yang akan dicaj setelah selesai.
  • Buruh – unit kerja sebenar yang dilakukan oleh ejen.

Daripada melakukan 'grep' pada fail log untuk mencari “error,” kami kini boleh menjalankan pertanyaan kewangan yang sebenar: “Tunjukkan semua janji yang jumlah wang melebihi $100.” Lejar ini menjadikan kos tersembunyi dapat dilihat dan dicari.

Sistem kawalan gelung tertutup

Mekanisme had kredit mengikuti gelung empat langkah yang berjalan secara berterusan:

  1. Ukur – setiap giliran ejen menambah satu baris ke dalam log perbelanjaan, merekodkan penggunaan token dan jumlah dolar yang diperoleh.
  2. Harga – sistem menukar jumlah token kepada USD menggunakan kadar semasa.
  3. Amaran – pemantau memerhati bajet berputar (rolling budget). Keadaannya berubah daripada tiada (tiada amaran) kepada amaran (menghampiri had) kepada had (had dicapai).
  4. Kawalan (Throttle) – pintu kawalan membaca keadaan semasa dan menyekat sebarang penghantaran tugasan baharu apabila had (cap) sedang aktif.

Tetingkap bajet adalah tempoh lima jam berputar, bermakna sistem sentiasa melihat perbelanjaan lima jam yang terkini, bukan blok kalendar yang tetap. Ini memastikan gelung kekal responsif terhadap lonjakan aktiviti dan menghalang satu lonjakan tunggal daripada mengunci armada secara tidak terhingga.

Papan pemuka yang hanya memaparkan perbelanjaan menceritakan satu kisah; kawalan (throttle) yang membaca nombor tersebut dan menghentikan penghantaran adalah kawalan yang sebenar.

Ketahanan melalui reka bentuk

Sistem kawalan perbelanjaan yang menjadi titik kegagalan tunggal (single point of failure) akan menjadi tidak produktif. Kami membina tiga langkah keselamatan:

  • Gagal terbuka (Fails open) – jika alat bajet terhenti, ejen akan terus berjalan. Perbelanjaan mungkin tidak diperiksa, tetapi armada kekal beroperasi.
  • Laluan pintas manual – pengendali boleh mengatasi kawalan (throttle) melalui saluran keutamaan, membolehkan kerja kritikal diteruskan walaupun had telah dicapai.
  • Sambung semula automatik – apabila tetingkap berputar beralih ke hadapan, perbelanjaan lama dikeluarkan daripada pengiraan. Sebaik sahaja jumlah jatuh di bawah had, pintu kawalan dibuka semula secara automatik tanpa campur tangan manusia.

Ujian: Had $100 berbanding perbelanjaan sedia ada $156

Kami melancarkan sistem dengan had $100 semasa aktiviti terkini armada telah pun mengumpul perbelanjaan sebanyak $156. Kawalan (throttle) bertindak serta-merta, menghentikan semua tugasan baharu. Apabila kami menaikkan had kepada $200, pintu kawalan dibuka semula dan kerja disambung semula tanpa langkah manual lanjut.

Eksperimen tersebut mengesahkan dua perkara:

  1. Gelung kawalan bertindak balas dalam masa nyata; tiada lengah antara pengesanan pelanggaran dan penguatkuasaan.
  2. Pengendali boleh melaraskan had secara langsung, mengelakkan masa henti (downtime) yang tidak perlu untuk kerja berkeutamaan rendah.

Rumusan: Menganggap log ejen sebagai lejar kewangan dan menyepadukan kawalan bajet berputar ke dalam saluran penghantaran memberikan anda perlindungan segera yang boleh dikuatkuasakan terhadap perbelanjaan berlebihan. Ia adalah kawalan yang murah dan berdaya tahan yang berfungsi hari ini; polisi yang lebih canggih boleh ditambah kemudian, tetapi gelung asas harus menjadi barisan pertahanan pertama untuk mana-mana armada ejen AI.