𝗖𝗼𝗻𝘁𝗲𝘅𝘁 𝗘𝗻𝗴𝗶𝗻𝗲𝗲𝗿𝗶𝗻𝗴 𝗳𝗼𝗿 𝗣𝗿𝗼𝗺𝗽𝘁 𝗘𝗻𝗴𝗶𝗻𝗲𝗲𝗿𝘀
Orang kata kejuruteraan prompt sudah mati. Mereka kata kejuruteraan konteks telah menggantikannya. Ini tidak benar.
Kejuruteraan prompt hanyalah sebahagian daripada kejuruteraan konteks. Prompting adalah apa yang anda katakan. Kejuruteraan konteks adalah segala-galanya yang dilihat oleh model. Ini termasuk prompt sistem, definisi alatan, dokumen yang diambil, dan memori.
Prompt anda hanyalah satu kepingan daripada teka-teki yang lebih besar. Ruang lingkupnya kini menjadi lebih luas.
Jangan cuba menggunakan tetingkap konteks yang besar untuk menyelesaikan segalanya. Tetingkap sejuta token tidak bermakna sejuta token itu memberikan perhatian yang berguna. Input yang lebih banyak sebenarnya boleh menyebabkan prestasi model merosot.
Anda mesti berwaspada terhadap dua isu utama:
• Hilang di tengah (Lost in the middle): Model memberikan fokus terbaik pada permulaan dan akhir sesuatu prompt. Mereka bergelut apabila data penting terletak di bahagian tengah. • Pereputan konteks (Context rot): Penaakulan dan ingatan merosot apabila panjang input bertambah. Malah tugasan mudah menjadi lebih sukar bagi model apabila tetingkap sudah penuh.
Matlamatnya adalah untuk mencari set token isyarat tinggi yang paling kecil untuk menyelesaikan tugasan. Anggap tetingkap konteks anda seperti sebuah bajet.
Gunakan enam corak ini untuk mengurus bajet anda:
• Bajet perhatian: Buang semua teks templat (boilerplate) dan teks yang berulang. Gunakan kandungan isyarat tinggi sahaja. • Penempatan pengambilan (Retrieval placement): Letakkan data yang relevan di permulaan atau di penghujung. Elakkan meletakkan maklumat kritikal di bahagian tengah. • Pemformatan hasil-alatan: Pulangkan data yang diringkaskan. Jangan masukkan objek API yang besar ke dalam tetingkap. • Reka bentuk skema: Gunakan output berstruktur. Pastikan tahap bersarang (nesting levels) adalah rendah untuk mengelakkan ralat. • Pengasingan sistem vs. giliran (turn): Simpan peraturan teras dalam prompt sistem. Simpan data khusus dalam giliran pengguna. • Memori dan pemampatan: Simpan keadaan (state) di luar tetingkap. Ringkaskan data lama untuk memastikan perbualan terus berjalan.
Kejuruteraan konteks bukan sekadar RAG. Ia adalah tentang penempatan dan kawalan. Jika anda sudah mahir melakukan prompting, anda tidak bermula dari sifar. Anda sedang belajar untuk mengurus bajet yang digunakan oleh prompt anda.
Source: https://dev.to/anoopk/context-engineering-for-people-who-already-know-how-to-prompt-2pj1
Optional learning community: https://t.me/GyaanSetuAi