Pipeline “dreaming” seorang pengembang berjalan dua kali sehari, meringkas log peristiwa mentah agen LLM menjadi penyimpanan memori yang ringkas dan terverifikasi, serta memangkas pengeluaran token. Trik ini sangat penting karena sebagian besar sistem agen memenuhi memori kerja mereka dengan setiap detail yang mereka lihat, yang dengan cepat menyebabkan kontradiksi, konteks yang terlupakan, dan biaya API yang membengkak.

Mengapa memori penting bagi agen LLM

Agen LLM memperlakukan setiap permintaan pengguna, panggilan alat (tool call), atau observasi internal sebagai sebuah “peristiwa” baru. Pendekatan naif akan menyematkan setiap peristiwa ke dalam prompt yang mendorong keputusan berikutnya. Dalam praktiknya, hal ini memenuhi prompt dengan derau (noise), memaksa model untuk mengevaluasi ulang fakta-fakta usang, dan mendorong penggunaan token ke tingkat harga tertinggi. Hasilnya: lebih banyak kesalahan dan tagihan tersembunyi yang terus meningkat di setiap interaksi.

Cara kerja "dreaming" malam hari

Sistem ini memisahkan jalur tulis (write path — log langsung agen) dari jalur kerja (work path — pengambilan keputusan model). Dua kali sehari, sebuah pekerjaan latar belakang—yang dijuluki “dream”—memproses peristiwa yang terkumpul melalui tiga tahap:

  • Reflect – sebuah LLM memindai klaster peristiwa terkait, mengusulkan fakta-fakta ringkas, dan mencatat peristiwa mana yang mendukung setiap usulan tersebut.
  • Score – pipeline memeriksa apakah suatu fakta memiliki cukup peristiwa pendukung dan apakah peristiwa-peristiwa tersebut memiliki rentang waktu yang cukup agar dapat diandalkan.
  • Judge – dua pemeriksaan kewajaran (sanity checks) memverifikasi bahwa fakta baru tidak bertentangan dengan memori yang ada dan bukan merupakan duplikat.

Fakta yang lolos semua pemeriksaan dipromosikan ke memori permanen. Fakta yang tidak memenuhi syarat masuk ke dalam antrean peninjauan (review queue) di mana operator manusia cukup menekan satu tombol untuk menyetujui atau menolaknya. Setiap persetujuan membuat commit bergaya git, memberikan jejak audit lengkap tentang memori apa yang berubah dan kapan.

Poin-poin penting rekayasa

  • Pisahkan penulisan dari pekerjaan. Biarkan agen membuang setiap observasi ke dalam log; biarkan proses khusus yang memutuskan apa yang tetap disimpan.
  • Fokus pada penolakan, bukan pembuatan. Menghasilkan ide itu murah; mencegah polusi memori adalah bagian yang sulit.
  • Gerbang manusia pada titik pemeriksaan termurah. Pembuatan draf otomatis yang diikuti dengan persetujuan manual cepat lebih baik daripada otonomi penuh dalam hal biaya dan keamanan.
  • Batasi pengeluaran token per siklus. Batas keras pada token per sesi dreaming menghentikan pengeluaran yang tidak terkendali.
  • Audit untuk kegagalan senyap. Jika satu tahap menerapkan aturan yang berbeda dari tahap berikutnya, data dapat hilang tanpa disadari; pemeriksaan eksplisit dapat menangkap ketidaksesuaian tersebut.

Potensi kekurangan

Menjalankan konsolidasi secara luring (offline) menimbulkan jeda: agen tidak akan melihat fakta yang baru diverifikasi hingga siklus dream berikutnya. Dalam aplikasi yang bergerak cepat yang membutuhkan pembelajaran instan, penundaan ini bisa menjadi hambatan. Sistem ini juga bergantung pada satu peninjau manusia; menskalakan antrean peninjauan tanpa membengkakkan biaya tenaga kerja tetap menjadi pertanyaan yang belum terjawab.

Apa yang perlu diperhatikan selanjutnya

Pengembang yang bereksperimen dengan agen LLM harus memantau tagihan token dan log kesalahan untuk tanda-tanda “polusi memori” – pernyataan berulang atau kontradiktif yang berasal dari akumulasi peristiwa mentah. Menambahkan pipeline dreaming memberikan kendali konkret untuk menurunkan biaya tersebut sekaligus mendapatkan riwayat memori yang dapat diaudit. Seiring semakin banyak tim mengadopsi model split-log, alat yang mengotomatiskan langkah reflect-score-judge dan terintegrasi dengan peninjauan bergaya kontrol versi (version-control) kemungkinan besar akan muncul, membuat pendekatan ini tidak terlalu khusus (bespoke) dan lebih bersifat plug-and-play. Pertukaran (trade-off) antara kecepatan dan kebersihan akan membentuk seberapa luas nightly dream menjadi bagian standar dari arsitektur agen LLM.