Mengapa Kompresi Konteks AI Secara Diam-diam Mengabaikan Instruksi Anda
Seiring percakapan dengan Large Language Models (LLM) menjadi semakin panjang, pengembang semakin bergantung pada "kompresi konteks" atau pemadatan untuk mengelola batas token dan mencegah hambatan performa. Namun, penelitian baru mengungkapkan cacat kritis dalam optimasi ini: ketika sistem AI meringkas riwayat percakapan untuk menghemat ruang, mereka sering kali membuang aturan-aturan yang seharusnya mengatur perilaku mereka.
Kerapuhan Batasan Sesi
Ketika sistem AI menjalani pemadatan, tujuan utamanya adalah untuk menjaga kontinuitas tugas—mempertahankan tujuan, status saat ini, dan langkah selanjutnya yang diperlukan. Meskipun hal ini menjaga aspek "apa" dari sebuah percakapan, hal ini sering kali mengorbankan aspek "bagaimana."
Peneliti di Penn State telah mengidentifikasi bahwa "batasan sesi" (session constraints) adalah korban pertama dari proses ini. Ini adalah aturan non-permanen yang ditetapkan oleh pengguna seperti "Jangan pernah gunakan nama saya dalam jawaban Anda" atau "Konfirmasi dengan saya sebelum melakukan perubahan apa pun." Karena instruksi ini bukan bagian dari tugas inti atau prompt sistem yang permanen, algoritma kompresi menganggapnya sebagai detail sekunder dan memangkasnya untuk memberi ruang bagi data yang lebih relevan.
Temuan COMPINT: Tingkat Kelangsungan Hidup 17%
Untuk mengukur degradasi ini, para peneliti mengembangkan rangkaian evaluasi COMPINT. Hasilnya sangat mencolok: rata-rata, hanya 17 persen batasan sesi yang disuntikkan yang berhasil bertahan melewati proses kompresi.
Studi tersebut menyoroti penurunan signifikan dalam kepatuhan terhadap aturan. Ketika sebuah agen memiliki akses ke konteks lengkap yang belum dikompresi, tingkat kepatuhan biasanya berada di antara 59% hingga 71%. Begitu pemadatan terjadi, kepatuhan merosot tajam, sering kali jatuh ke tingkat yang hampir tidak dapat dibedakan dari skenario di mana tidak ada batasan yang diberikan sama sekali.
Ini bukan sekadar masalah nuansa percakapan; ini adalah risiko keamanan dan keandalan yang besar. Dalam alur kerja agen (agentic workflows), hilangnya batasan seperti "Jangan jalankan kode tanpa persetujuan" dapat menyebabkan pemanggilan alat (tool calls) yang tidak sah, kebocoran data, atau perubahan yang tidak terverifikasi pada sistem eksternal seperti kalender atau email.
Solusi Ringan melalui Qwen3.5-9B
Alih-alih merombak logika kompresi kompleks yang digunakan oleh laboratorium AI besar, para peneliti mengusulkan perbaikan arsitektur "plug-and-play". Mereka mengembangkan modul tambahan kecil berbasis model Qwen3.5-9B yang dirancang untuk bertindak sebagai ekstraktor khusus.
Modul ini berfungsi dengan:
- Memindai setiap input pengguna secara real-time untuk mendeteksi dan mengisolasi batasan sesi.
- Memelihara daftar aturan yang berdedikasi dan independen.
- Menambahkan daftar ringkas ini ke dalam ringkasan setiap kali sistem utama melakukan pemadatan.
Hasil dari pendekatan ini sangat efektif. Ekstraktor tersebut mencapai retensi lebih dari 90 persen di berbagai skenario pengujian, termasuk tingkat keberhasilan 95,6% untuk lintasan agen (agent trajectories) dan 90,3% untuk obrolan multi-putaran (multi-turn chats). Karena metode ini tidak memerlukan pelatihan ulang model utama dan tidak memerlukan perubahan pada infrastruktur kompresi yang ada, metode ini menawarkan jalur yang skalabel menuju interaksi AI konteks panjang yang lebih andal.
Poin-Poin Penting
- Penghapusan Batasan: Kompresi konteks memprioritaskan tujuan tugas di atas aturan perilaku, yang menyebabkan sebagian besar "batasan sesi" yang ditetapkan pengguna hilang selama peringkasan.
- Risiko Keamanan: Hilangnya instruksi—seperti persyaratan untuk verifikasi human-in-the-loop—dapat menyebabkan tindakan agen yang tidak sah dan keamanan yang terkompromi.
- Perbaikan Modular: Menggunakan model khusus yang kecil seperti Qwen3.5-9B untuk melacak batasan secara terpisah dapat memulihkan retensi instruksi hingga lebih dari 90%.