𝗧𝗵𝗲 𝗠𝗼𝗱𝗲𝗹 𝗗𝗼𝗲𝘀𝗻'𝘁 𝗥𝗲𝗺𝗲𝗺𝗯𝗲𝗿. 𝗬𝗼𝘂 𝗗𝗼.
Dulu saya mengira Large Language Models (LLM) memiliki memori.
Saya pikir setiap sesi obrolan menyimpan konteksnya sendiri. Saya salah.
LLM bersifat stateless. Model tidak mengingat apa pun dari satu permintaan ke permintaan berikutnya.
Saat Anda melihat riwayat obrolan, Anda sebenarnya sedang melihat sebuah array pesan. Untuk menciptakan sebuah percakapan, Anda harus mengirimkan seluruh riwayat tersebut kembali ke model pada setiap prompt baru.
Jika Anda menggunakan SDK, proses ini tetap tersembunyi. SDK menangani kerumitannya untuk Anda.
Jika Anda menggunakan raw fetch, Anda akan melihat semuanya. Anda mengelola header, body, dan array pesan itu sendiri.
Beginilah cara kerja konteks:
• Anda mengirim pesan. • Model merespons. • Anda menyimpan kedua pesan tersebut dalam sebuah array. • Anda mengirimkan seluruh array tersebut kembali untuk pertanyaan berikutnya.
Model hanya mengetahui apa yang Anda kirimkan dalam permintaan saat ini. Sisanya hilang.
Memahami array ini adalah fondasi dari pengembangan AI. Ini adalah titik awal untuk metode tingkat lanjut seperti RAG, sliding windows, dan semantic search.
Jika Anda ingin membangun alat AI yang andal, berhentilah mengandalkan abstraksi. Lihatlah permintaan mentahnya (raw requests). Kelola riwayatnya sendiri.
Postingan lengkap: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk