𝗠𝗼𝗱𝗲𝗹𝗻𝘆𝗮 𝗧𝗶𝗱𝗮𝗸 𝗠𝗲𝗻𝗴𝗶𝗻𝗴𝗮𝘁. 𝗔𝗻𝗱𝗮 𝗬𝗮𝗻𝗴 𝗠𝗲𝗻𝗴𝗶𝗻𝗴𝗮𝘁.
LLM tidak memiliki memori.
Dulu saya mengira setiap obrolan menyimpan konteksnya sendiri. Saya pikir model tersebut mengingat kata-kata kita sebelumnya secara otomatis. Saya salah.
Messages API bersifat stateless. Model hanya mengetahui apa yang Anda kirimkan dalam request saat ini. Jika Anda ingin melakukan percakapan, Anda harus mengirimkan seluruh riwayat kembali ke model setiap saat.
Memori Anda hanyalah sebuah array pesan.
Saat Anda membangun chat, Anda mengelola array ini. Bentuknya seperti ini:
• User: Halo, Claude • Assistant: Halo! Ada yang bisa saya bantu? • User: Bisakah Anda menjelaskan tentang LLM?
Setiap kali Anda mengajukan pertanyaan baru, Anda menambahkan pesan baru tersebut ke daftar itu dan mengirimkan seluruh daftar ke API.
Saya mempelajari ini dengan menghindari SDK. Kebanyakan pengembang menggunakan alat seperti Anthropic SDK. Alat-alat ini menyembunyikan kompleksitasnya. Mereka menangani retries dan header untuk Anda.
Saya memilih untuk menggunakan raw fetch sebagai gantinya. Hal ini memaksa saya untuk mengelola header dan request body secara manual. Ini menghilangkan abstraksi tersebut. Saya melihat dengan tepat bagaimana data berpindah.
Konsep ini adalah fondasi untuk segalanya. Jika Anda ingin membangun sistem yang canggih, Anda harus memahami array ini. Strategi seperti RAG atau sliding windows semuanya dimulai dari cara Anda mengelola daftar pesan ini.
Setelah Anda menguasai history, Anda dapat beralih ke tool use. Ini memungkinkan model untuk mengeksekusi tugas dan memilih fungsi yang tepat untuk dijalankan.
Kendalikan konteks Anda. Kendalikan model Anda.
Sumber: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-3mmk
Komunitas belajar opsional: https://t.me/GyaanSetuAi