Model Tidak Mengingat. Anda yang Mengingat.
Large Language Models (LLM) tidak memiliki memori.
Dulu saya mengira setiap sesi obrolan menyimpan konteksnya sendiri. Saya salah. Saat Anda berbicara dengan LLM, ia tidak mengingat pertanyaan terakhir Anda kecuali Anda mengirimkannya kembali.
Model ini bersifat stateless. Ini berarti setiap permintaan adalah awal yang baru.
Untuk membuat percakapan, Anda harus mengelola riwayatnya sendiri. Anda melakukannya dengan mengirimkan sebuah array berisi semua pesan sebelumnya pada setiap permintaan baru.
"Memori" hanyalah sebuah daftar pesan:
- User: Halo.
- Assistant: Hai!
- User: Apa kabar?
Jika Anda tidak menyertakan dua baris pertama dalam permintaan berikutnya, model tidak akan tahu bahwa Anda sudah menyapa.
Saya mempelajari hal ini dengan menghindari SDK. Sebagian besar pengembang menggunakan alat seperti Anthropic SDK untuk menyembunyikan kompleksitas ini. SDK menangani riwayat pesan dan header untuk Anda.
Jika Anda ingin mempelajari cara kerja LLM, gunakan fetch mentah sebagai gantinya. Jangan gunakan abstraksi. Saat Anda mengelola siklus permintaan dan respons secara manual, Anda dapat melihat setiap keputusan yang diambil.
Kontrol manual ini memungkinkan Anda untuk membangun strategi tingkat lanjut nantinya, seperti:
- Sliding windows untuk mengelola obrolan panjang.
- Retrieval Augmented Generation (RAG).
- Pencarian semantik (semantic search).
Memahami array ini adalah fondasi dari pengembangan AI. Andalah yang menyediakan konteksnya. Model hanya mengetahui apa yang Anda kirimkan.
Sumber: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-3mmk