Foreman mengubah agen large-language-model (LLM) menjadi sumber daya Kubernetes asli, memungkinkan tim menjalankan kode yang dihasilkan AI di produksi sambil menjaga biaya dan keamanan di bawah kendali ketat.

Bagaimana ide ini sesuai dengan alur kerja pengembang saat ini

Perusahaan telah bereksperimen dengan LLM yang dapat menulis kode, tetapi sebagian besar implementasi memperlakukan model tersebut sebagai kotak hitam (black box) yang dipercaya. Satu sinyal “selesai” dari model dapat mendorong perubahan yang belum diuji langsung ke repositori, sehingga menimbulkan kekhawatiran keamanan dan keandalan. Di saat yang sama, menjalankan layanan AI di cloud dapat dengan cepat menjadi mahal, terutama ketika model yang sama dipanggil berulang kali dari pipeline CI.

Jawaban Foreman adalah dengan menanamkan seluruh loop pengodean di dalam klaster Kubernetes. Foreman berjalan sebagai sumber daya Kubernetes.

Empat objek inti yang mewujudkannya

  • Agent – Menentukan pekerja. Ia menamai LLM yang akan dipanggil, mencantumkan alat (tools) yang dapat digunakan model (misalnya, file-write atau git-push), dan menetapkan anggaran yang membatasi panggilan model. Peran (roles) dilampirkan di sini; agen coder menulis kode, agen verifier memeriksanya.
  • Workload – Unit pekerjaan yang dibuat oleh pengguna. Ia memegang niat tingkat tinggi (misalnya, “tambahkan unit test untuk modul X”), referensi ke repositori target, dan daftar agen yang harus menangani pekerjaan tersebut.
  • AgenticTask – Tugas konkret yang dijalankan oleh Workload. Seiring kemajuan pekerjaan, setiap AgenticTask mencatat pembaruan status, memungkinkan operator memantau pipeline secara real-time.
  • FleetNode – Node Kubernetes yang benar-benar menjalankan tugas. Penjadwal (scheduler) bawaan mencocokkan AgenticTask yang tertunda dengan FleetNode yang memiliki peran dan sumber daya yang diperlukan.

Verifikasi menggantikan kepercayaan buta

Foreman tidak berasumsi bahwa output model sudah benar. Ketika agen coder menyelesaikan pekerjaannya, ia mengirimkan permintaan alih-alih hasil akhir. Seorang verifier—biasanya berupa skrip deterministik, bukan LLM lain—menjalankan kode melalui linter, unit test, atau build lengkap. Hanya jika pemeriksaan tersebut lolos, Foreman akan menulis kembali branch baru ke repositori.

Jika verifier gagal, tugas ditandai sebagai ditolak (rejected) dan perubahan tidak akan pernah diterapkan. Pemisahan ini memungkinkan model menghasilkan sesuatu secara kreatif sementara jaring pengaman tetap sepenuhnya di bawah kendali manusia.

Menginstal stack pada klaster

  1. Deploy chart inti LLMKube dengan Helm.
  2. Deploy chart Foreman, juga melalui Helm.
  3. Ubah mode agen ke “native” agar loop request-response yang sebenarnya aktif.
  4. Tetapkan peran (coder, verifier) ke FleetNode yang akan menampung pekerjaan tersebut.

Dua set kredensial diperlukan: kredensial git untuk membaca issue dan mendorong (push) branch, serta kredensial model untuk memanggil API terkelola (hosted API) atau layanan inferensi mandiri (self-hosted inference service).

Tuas biaya dan keamanan yang benar-benar dapat Anda atur

Foreman memungkinkan operator membatasi wewenang model dengan memangkas alat dari definisi agen. Menghapus “bash” atau “write_file” menghentikan model dari mengeksekusi perintah shell sembarangan atau menulis di luar ruang kerja yang ditentukan.

Batas putaran (turn limit) membatasi jumlah pemanggilan model per tugas, yang secara langsung mengontrol pengeluaran. Menyesuaikan jendela konteks (context window)—seberapa banyak prompt yang dilihat model—lebih lanjut memangkas penggunaan token. Ketika model berjalan secara lokal pada perangkat keras on-prem, tidak ada data yang keluar dari organisasi, sehingga memenuhi kebijakan privasi data yang ketat.

Di mana platform ini unggul, dan di mana ia masih kesulitan

Foreman unggul dalam pekerjaan mekanis dengan cakupan yang jelas:

  • Memperbaiki bug yang terdokumentasi.
  • Menambahkan kasus uji (test case) yang hilang.
  • Memperbarui dokumentasi untuk kejelasan atau gaya penulisan.

Tugas-tugas ini memiliki kriteria keberhasilan yang jelas yang dapat diperiksa secara otomatis oleh verifier. Sistem ini masih kesulitan dengan desain ulang arsitektur tingkat tinggi atau pekerjaan fitur yang ambigu di mana “kebenaran” bergantung pada penilaian manusia.

Kesimpulan

Dengan memperlakukan coder berbasis LLM sebagai sumber daya Kubernetes kelas satu dan menerapkan langkah verifikasi deterministik, Foreman menawarkan jalur pragmatis menuju pembuatan kode AI di produksi yang menjaga pengeluaran tetap terlihat dan keamanan tetap terkendali. Ini bukan solusi ajaib untuk semua pekerjaan pengembangan, tetapi untuk tugas-tugas yang dapat diulang dan diuji, ia menyediakan alur kerja yang dapat diaudit dan sesuai secara alami dengan operasi cloud-native yang ada.