Kami menetapkan batas kredit sebesar $100 pada armada AI sepuluh agen kami dan pembatasan (throttle) langsung aktif pada hari yang sama, menghentikan setiap tugas baru hingga kami menaikkan batasnya. Insiden ini menunjukkan bahwa control loop langsung bekerja saat anggaran terlampaui.

Mengapa batas kredit penting bagi armada AI

Menjalankan sepuluh agen otonom pada satu server menghasilkan aliran panggilan API yang terus-menerus, yang masing-masing ditagih berdasarkan jumlah token yang dikonsumsi. Log tradisional mencatat apa yang dilakukan agen—kueri, respons, stempel waktu—tetapi tidak memberikan informasi tentang berapa biaya dari tindakan tersebut. Saat armada berkembang, tagihan yang tidak terlihat ini dapat membengkak, menguras anggaran sebelum ada yang menyadarinya.

Mengubah log menjadi buku besar

Langkah pertama kami adalah berhenti memperlakukan log sebagai teks biasa dan mulai memperlakukannya sebagai buku besar keuangan. Setiap siklus agen—task → taking → done—kini menghasilkan tiga entri jurnal:

  • Money – nilai USD yang diestimasi berdasarkan jumlah token dari permintaan tersebut.
  • Promises – tugas terbuka yang mewakili kewajiban berjalan, yaitu pekerjaan yang akan ditagih setelah selesai.
  • Labour – unit kerja aktual yang dilakukan oleh agen.

Alih-alih melakukan grepping pada file log untuk mencari “error,” kami sekarang dapat menjalankan kueri keuangan yang sebenarnya: “Tampilkan semua promises yang total uangnya melebihi $100.” Buku besar ini membuat biaya tersembunyi menjadi terlihat dan dapat dicari.

Sistem kontrol loop tertutup

Mekanisme batas kredit mengikuti loop empat langkah yang berjalan terus-menerus:

  1. Measure – setiap giliran agen menambahkan baris ke log pengeluaran, mencatat penggunaan token dan jumlah dolar yang dihasilkan.
  2. Price – sistem mengonversi jumlah token ke USD menggunakan kurs saat ini.
  3. Alert – sebuah monitor mengawasi anggaran berjalan (rolling budget). Statusnya berpindah dari none (tidak ada peringatan) ke warn (mendekati batas) ke cap (batas tercapai).
  4. Throttle – gerbang membaca status saat ini dan memblokir pengiriman tugas baru apa pun saat cap aktif.

Jendela anggaran adalah periode lima jam berjalan, yang berarti sistem selalu melihat pengeluaran lima jam terakhir, bukan blok kalender tetap. Hal ini menjaga loop tetap responsif terhadap lonjakan aktivitas dan mencegah satu lonjakan tunggal mengunci armada untuk waktu yang tidak ditentukan.

Dasbor yang sekadar menampilkan pengeluaran hanya menceritakan sebuah kisah; throttle yang membaca angka tersebut dan menghentikan pengiriman adalah kontrol yang sebenarnya.

Ketahanan melalui desain

Sistem kontrol pengeluaran yang menjadi titik kegagalan tunggal (single point of failure) akan menjadi kontraproduktif. Kami membangun tiga pengaman:

  • Fails open – jika alat anggaran mengalami kegagalan (crash), agen tetap berjalan. Pengeluaran mungkin tidak terpantau, tetapi armada tetap beroperasi.
  • Manual bypass – operator dapat mengesampingkan (override) throttle melalui saluran prioritas, membiarkan pekerjaan kritis berlanjut bahkan ketika batas tercapai.
  • Auto-resume – seiring berjalannya jendela waktu, pengeluaran lama akan keluar dari perhitungan. Setelah totalnya turun di bawah batas, gerbang akan terbuka kembali secara otomatis tanpa intervensi manusia.

Pengujian: batas $100 versus pengeluaran saat ini sebesar $156

Kami meluncurkan sistem dengan batas $100 sementara aktivitas armada baru-baru ini telah mengakumulasi pengeluaran sebesar $156. Throttle langsung aktif, menghentikan semua tugas baru. Ketika kami menaikkan batas ke $200, gerbang terbuka kembali dan pekerjaan berlanjut tanpa langkah manual lebih lanjut.

Eksperimen tersebut mengonfirmasi dua hal:

  1. Control loop bereaksi secara real-time; tidak ada jeda antara deteksi pelanggaran dan penegakan aturan.
  2. Operator dapat menyesuaikan batas secara langsung (on the fly), mencegah waktu henti (downtime) yang tidak perlu untuk pekerjaan prioritas rendah.

Kesimpulan: Memperlakukan log agen sebagai buku besar keuangan dan menyambungkan throttle anggaran berjalan ke dalam saluran pengiriman memberikan perlindungan instan dan dapat ditegakkan terhadap pengeluaran berlebih. Ini adalah kontrol yang murah dan tangguh yang dapat digunakan saat ini; kebijakan yang lebih canggih dapat ditambahkan kemudian, tetapi loop dasar harus menjadi lini pertahanan pertama bagi armada agen AI apa pun.