Berhenti Memasukkan Memori Ejen Secara Melulu ke Dalam Prompt

Kebanyakan pembangun membina gelung ejen dengan menambah segala-galanya ke dalam prompt seterusnya.

Anda menambah pemerhatian terdahulu, panggilan alatan (tool calls), dan jejak penaakulan. Anda terus menambah data sehingga prompt menjadi seperti laci sampah. Model melihat lebih banyak maklumat, tetapi anda hilang kawalan. Anda tidak lagi tahu cebisan memori mana yang menyebabkan keputusan tertentu.

Satu kertas kerja baharu yang dipanggil AgenticSTS mencadangkan jalan yang berbeza. Ia menganggap memori sebagai satu antara muka (interface) dan bukannya satu persaingan untuk mendapatkan tetingkap konteks (context window) yang terbesar.

Kertas kerja tersebut menggunakan permainan Slay the Spire 2 sebagai tapak ujian. Persekitaran ini memerlukan ratusan keputusan strategik. Ia bukan sekadar bot sembang yang ringkas.

Idea utamanya adalah ini: Memori ialah satu kontrak tentang apa yang dibenarkan untuk dilihat oleh keputusan masa hadapan.

Daripada menggunakan transkrip mentah, penulis menyusun prompt baharu menggunakan lima lapisan khusus:

  • Arahan protokol tetap
  • Skema keadaan dan tindakan semasa
  • Peraturan permainan yang diperoleh semula
  • Ringkasan daripada larian terdahulu
  • Kemahiran strategik yang dicetuskan

Struktur ini mengubah segalanya. Anda boleh memeriksa, membekukan, atau menyahaktifkan setiap lapisan. Anda mengubah memori daripada timbunan data kepada bukti yang terpilih.

Banyak kegagalan ejen dalam pengeluaran (production) bukanlah kegagalan model. Ia adalah kegagalan konteks. Ejen mencampuradukkan keadaan lama dengan keadaan baharu atau membawa refleksi yang sudah lapuk ke hadapan. Jika satu-satunya polisi anda adalah untuk menambah lebih banyak teks, proses penyahpepijatan (debugging) akan terasa seperti kerja arkeologi.

Antara muka memori bertipe (typed memory interface) memberi anda sesuatu untuk dibandingkan.

Bagi ejen yang berjalan lama, tetingkap konteks yang besar adalah satu perangkap. Ia menjadi campuran fakta, fakta lapuk, dan percubaan yang gagal. Semakin besar tetingkap tersebut, semakin mudah untuk tersalah anggap mendapan (sediment) sebagai memori.

Untuk membina ejen yang lebih baik, ikuti corak ini:

  • Asingkan arahan stabil daripada keadaan semasa
  • Simpan peraturan dalam lapisan pengambilan (retrieval layer)
  • Simpan pengalaman sebagai rekod eksplisit, bukan sisa sembang
  • Tukarkan pembetulan berulang kepada kemahiran yang dicetuskan
  • Pastikan setiap lapisan memori boleh dibuang untuk tujuan ujian

Jika anda tidak boleh mematikan satu lapisan memori, anda tidak tahu sama ada ia benar-benar membantu. Anda hanya tahu bahawa keseluruhan timbunan itu berfungsi kadangkala.

Berhenti melayan memori ejen sebagai lapisan "vibes". Beralihlah ke arah sistem di mana anda tahu dengan tepat apa yang dimasukkan ke dalam keputusan seterusnya, dari mana ia datang, dan cara untuk menyahaktifkannya.

Jika ejen anda tidak dapat menjelaskan apa yang dibenarkan untuk diingat, ia tidak mempunyai memori. Ia hanya mempunyai prompt dengan ruang bawah tanah.

Sumber: https://dev.to/komo/stop-dumping-agent-memory-into-the-prompt-58ka

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi