Berhenti Menumpuk Memori Agen ke Dalam Prompt

Sebagian besar pengembang membangun loop agen dengan menambahkan segalanya ke prompt berikutnya.

Anda menambahkan observasi sebelumnya, panggilan alat (tool calls), dan jejak penalaran. Anda terus menambahkan data hingga prompt menjadi seperti laci sampah. Model melihat lebih banyak, tetapi Anda kehilangan kendali. Anda tidak lagi tahu bagian memori mana yang menyebabkan keputusan tertentu.

Sebuah makalah baru bernama AgenticSTS menyarankan jalur yang berbeda. Makalah ini memperlakukan memori sebagai sebuah antarmuka, bukan sebagai kompetisi untuk mendapatkan jendela konteks (context window) terbesar.

Makalah tersebut menggunakan game Slay the Spire 2 sebagai tempat pengujian. Lingkungan ini memerlukan ratusan keputusan strategis. Ini bukan sekadar chatbot sederhana.

Ide intinya adalah ini: Memori adalah sebuah kontrak tentang apa yang diizinkan untuk dilihat oleh keputusan di masa mendatang.

Alih-alih transkrip mentah, penulis menyusun prompt baru menggunakan lima lapisan spesifik:

  • Instruksi protokol tetap
  • Skema status dan tindakan saat ini
  • Aturan permainan yang diambil (retrieved)
  • Ringkasan dari sesi sebelumnya
  • Keterampilan strategis yang dipicu

Struktur ini mengubah segalanya. Anda dapat memeriksa, membekukan, atau menonaktifkan setiap lapisan. Anda mengubah memori dari tumpukan data menjadi bukti yang terpilih.

Banyak kegagalan agen di tahap produksi bukanlah kegagalan model. Itu adalah kegagalan konteks. Agen mencampur status lama dengan status baru atau membawa refleksi yang sudah usang ke depan. Jika satu-satunya kebijakan Anda adalah menambahkan lebih banyak teks, proses debugging akan terasa seperti arkeologi.

Antarmuka memori bertipe (typed memory interface) memberi Anda sesuatu untuk dibandingkan.

Untuk agen yang berjalan dalam waktu lama, jendela konteks yang besar adalah jebakan. Ia menjadi campuran antara fakta, fakta yang sudah usang, dan upaya yang gagal. Semakin besar jendelanya, semakin mudah untuk salah mengira endapan (sediment) sebagai memori.

Untuk membangun agen yang lebih baik, ikuti pola-pola ini:

  • Pisahkan instruksi yang stabil dari status saat ini
  • Simpan aturan dalam lapisan pengambilan (retrieval layer)
  • Simpan pengalaman sebagai catatan eksplisit, bukan residu chat
  • Ubah perbaikan yang berulang menjadi keterampilan yang dipicu
  • Buat setiap lapisan memori dapat dilepas untuk pengujian

Jika Anda tidak dapat mematikan lapisan memori, Anda tidak akan tahu apakah lapisan tersebut benar-benar membantu. Anda hanya tahu bahwa seluruh tumpukan tersebut terkadang berhasil.

Berhenti memperlakukan memori agen sebagai vibes layer. Bergeraklah menuju sistem di mana Anda tahu persis apa yang masuk ke dalam keputusan berikutnya, dari mana asalnya, dan cara menonaktifkannya.

Jika agen Anda tidak dapat menjelaskan apa yang diizinkan untuk diingat, ia tidak memiliki memori. Ia hanya memiliki prompt dengan ruang bawah tanah.

Sumber: https://dev.to/komo/stop-dumping-agent-memory-into-the-prompt-58ka

Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi