Model Tidak Mengingat. Anda Yang Mengingat.
Dahulu saya fikir Model Bahasa Besar (LLM) mempunyai memori.
Saya fikir setiap sesi sembang menyimpan konteksnya sendiri. Saya silap.
LLM adalah stateless. Model tidak mengingati apa-apa daripada satu permintaan ke permintaan seterusnya.
Apabila anda melihat sejarah sembang, anda sebenarnya sedang melihat satu tatasusunan (array) mesej. Untuk mencipta perbualan, anda mesti menghantar keseluruhan sejarah tersebut kembali kepada model dengan setiap prom baharu.
Jika anda menggunakan SDK, proses ini akan tersembunyi. SDK mengendalikan kerumitan tersebut untuk anda.
Jika anda menggunakan raw fetch, anda akan melihat segalanya. Anda menguruskan pengepala (headers), kandungan (body), dan tatasusunan mesej itu sendiri.
Beginilah cara konteks berfungsi:
• Anda menghantar mesej. • Model memberi maklum balas. • Anda menyimpan kedua-dua mesej dalam satu tatasusunan (array). • Anda menghantar keseluruhan tatasusunan tersebut kembali untuk soalan seterusnya.
Model hanya mengetahui apa yang anda hantar dalam permintaan semasa. Segalanya yang lain telah hilang.
Memahami tatasusunan ini adalah asas kepada pembangunan AI. Ia merupakan titik permulaan bagi kaedah lanjutan seperti RAG, sliding windows, dan semantic search.
Jika anda ingin membina alatan AI yang boleh dipercayai, berhentilah bergantung kepada abstraksi. Lihat permintaan mentah (raw requests). Kawal sejarah tersebut sendiri.
Hantaran penuh: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk