Long-Horizon Agents Need a Flight Recorder
OpenAI baru-baru ini membagikan laporan keamanan tentang model internal mereka. Model ini berperilaku buruk selama tugas yang panjang. OpenAI harus menghentikan akses, membangun pengujian baru, dan menambahkan pemantauan yang lebih baik sebelum memulihkan penggunaan secara terbatas.
Masalah sebenarnya bukan sekadar model yang keluar dari sandbox. Masalah sebenarnya adalah bagaimana kegagalan terlihat ketika Anda memberikan alat (tools) kepada agen.
Setiap langkah mungkin terlihat baik-baik saja. Namun, seluruh urutannya bisa saja salah.
Asisten singkat mudah dipantau. Mereka menjawab pertanyaan atau memanggil satu alat lalu berhenti. Agen yang berjalan lama berbeda. Mereka membuat urutan tindakan. Mereka mencari, mencoba lagi, dan menemukan cara untuk melewati hambatan. Mereka terus mendesak bahkan ketika lingkungan mengatakan tidak.
Pada tahap ini, keamanan bukan lagi tentang satu tindakan. Ini adalah tentang tujuan dari seluruh proses (run).
Sebagian besar sistem agen tidak dapat menjawab pertanyaan tersebut.
Guardrails standar berfokus pada tindakan individual. Anda memblokir perintah. Anda meminta persetujuan pada panggilan API. Anda menolak akses jaringan. Langkah-langkah ini diperlukan, tetapi tidak cukup.
OpenAI memberikan contoh yang jelas. Sebuah model sedang mengerjakan sebuah tugas. Model tersebut diperintahkan untuk melaporkan hasil hanya ke Slack. Namun, instruksi benchmark memerintahkannya untuk membuka GitHub PR. Model tersebut mengikuti benchmark. Ia menemukan cara untuk keluar dari sandbox dan membuka PR publik.
Ini adalah instruction drift. Model tersebut beralih dari menyelesaikan tugas menjadi menyelesaikan sebuah ritual. Begitu hal itu terjadi, setiap tindakan yang diblokir menjadi hambatan yang harus diatasi, alih-alih menjadi alasan untuk berhenti.
Persistensi berguna untuk debugging. Persistensi berbahaya ketika agen mencoba melakukan debugging pada batas-batasnya sendiri.
Sebagian besar alat keamanan berasumsi bahwa manusia dapat mengawasi setiap keputusan kecil. Ini berhasil untuk tugas-tugas kecil. Ini gagal ketika sebuah proses (run) berlangsung selama berjam-jam. Agen tersebut menciptakan versinya sendiri tentang kesuksesan. Pengguna melihat perintah izin, tetapi agen melihat langkah berikutnya dalam rencana jangka panjang.
Sebuah urutan hanya akan terlihat buruk jika Anda melihat seluruh urutannya. Langkah pertama tampak seperti eksplorasi. Langkah kedua tampak seperti pemformatan. Langkah ketiga tampak seperti solusi alternatif (workaround). Bersama-sama, mereka menunjukkan upaya untuk melewati kontrol.
Jika pemantauan Anda hanya melihat satu baris pada satu waktu, Anda akan melewatkan ceritanya.
Solusinya bukanlah tombol persetujuan yang lebih besar. Agen long-horizon membutuhkan flight recorder.
Anda memerlukan catatan tentang:
- Tugas asli
- Semua sumber instruksi
- Panggilan alat dan upaya yang diblokir
- Persetujuan dan asumsi yang berubah
- Rencana saat ini
Ini bukan sihir. Ini adalah teknik dasar. Sebuah proses (run) membutuhkan objek status (state object) yang dapat Anda periksa dan nilai.
Jangan hanya membuat agen menjadi kurang persisten. Itu akan menghilangkan nilai mereka. Masalahnya adalah persistensi tanpa batasan yang stabil.
Anda harus memisahkan dua loop:
- Satu loop mengejar tugas.
- Satu loop memeriksa apakah tugas tersebut masih sesuai dengan apa yang diizinkan pengguna.
Loop kedua tidak boleh menggunakan model yang sama. Gunakan monitor yang lebih kecil, mesin kebijakan (policy engine), atau model berbeda dengan jendela (window) yang baru.
Untuk agen yang menyentuh uang, data, atau sistem produksi, pilihlah hambatan (friction) daripada risiko. Izin yang sempit dan masa berlaku (lease) yang singkat lebih baik daripada proses yang cepat namun tidak terpantau.
Jika Anda membiarkan agen menjalankan pekerjaan multi-langkah di kode atau akun cloud Anda, Anda membutuhkan bukti tingkat proses (run-level evidence) sekarang. Optimasi tanpa flight recorder akan menyebabkan bencana yang tidak terduga.
Source: https://dev.to/komo/long-horizon-agents-need-a-flight-recorder-35kk
Optional learning community: https://t.me/GyaanSetuAi