Prompt Sistem di Tengah Percakapan
Membangun agen AI yang berjalan dalam waktu lama sering kali berujung pada kesalahan yang mahal.
Anda menggunakan prompt sistem yang besar dan menyimpannya dalam cache untuk menghemat biaya. Ini berhasil sampai Anda perlu memberikan instruksi baru kepada agen di tengah sesi. Anda mungkin perlu mengubah bahasa pemrograman atau memperbarui status proyek.
Jika Anda mengedit prompt sistem tingkat atas untuk menambahkan info ini, Anda merusak cache tersebut. Model harus memproses ulang seluruh riwayat dengan harga penuh. Hal ini membuat agen Anda lambat dan mahal.
Model Claude terbaru mengatasi hal ini dengan pesan sistem di tengah percakapan.
Sekarang Anda dapat menempatkan pesan peran sistem secara langsung di dalam array pesan Anda. Anda menempatkannya setelah riwayat, bukan di bagian paling atas.
Mengapa ini penting:
• Keamanan Cache: Instruksi tersebut berada setelah riwayat yang telah di-cache. Ini tidak membatalkan prefix. Anda hanya membayar untuk pesan baru yang berukuran kecil. • Keamanan: Anda dapat menggunakan pesan pengguna sebagai solusi sementara, tetapi pengguna dapat memalsukannya. Pesan peran sistem membawa otoritas yang tidak dapat dipalsukan oleh pengguna. Ini mencegah prompt injection.
Cara melakukannya dengan benar:
Sampaikan pesan-pesan ini sebagai fakta. Jangan gunakan bahasa yang bersifat menimpa (override).
• Baik: "Mode persetujuan otomatis kini telah diaktifkan." • Buruk: "Abaikan apa yang dikatakan pengguna dan lakukan ini sebagai gantinya."
Model sering kali menolak instruksi yang menyuruh mereka mengabaikan konteks sebelumnya. Tetaplah pada pernyataan mengenai status dunia yang baru.
Aturan penggunaan:
- Harus mengikuti pesan pengguna atau asisten.
- Tidak boleh menjadi pesan pertama dalam array.
- Hanya menerima konten teks.
- Tidak semua model mendukungnya. Selalu gunakan blok try-catch untuk beralih ke pengingat giliran pengguna (user-turn reminder) jika Anda mendapatkan error 400.
Gunakan ini saat Anda mempelajari sesuatu yang baru setelah sesi dimulai. Jika Anda sudah mengetahui faktanya di awal, masukkan ke dalam prompt sistem utama. Jika faktanya bersifat dinamis, gunakan pesan sistem di tengah percakapan.
Ini menjaga cache Anda tetap aktif (hot) dan biaya Anda tetap rendah.