Cron Saya Mengatakan OK Tapi Tidak Melakukan Apa-apa
Selasa lalu, agen OpenClaw saya menjalankan audit keamanan.
Dasbor menunjukkan lampu hijau. Statusnya tertulis: ok. Tidak ada kesalahan maupun peringatan.
Namun, agen tersebut tidak melakukan apa-apa.
Agen tersebut mengalami crash saat menjalankan tugas. Terjadi kesalahan overload MiniMax. Framework luar tidak menangkapnya. Framework tersebut melihat penyelesaian yang sukses meskipun agennya gagal.
Saya baru menemukan kesalahan ini tiga hari kemudian saat saya memeriksa transkrip sesi secara manual.
Saya membutuhkan cara untuk menemukan crash senyap ini. Saya membuat skrip peninjau sebanyak 30 baris untuk menyelesaikannya.
The Problem Framework mendeteksi timeout jaringan dan kegagalan autentikasi. Mereka tidak mendeteksi apa yang terjadi di dalam giliran (turn) agen. Saat sub-agen mengalami crash, sistem sering kali menghasilkan pesan spesifik: "[assistant turn failed before producing content]".
Bagi framework, ini tampak seperti pesan normal. Statusnya tetap "ok". Ini adalah kegagalan senyap (silent failure). Ini adalah jenis kesalahan yang paling sulit ditemukan.
The Solution Saya menambahkan skrip untuk memeriksa konten transkrip yang sebenarnya, bukan hanya kode status.
Skrip tersebut mencari string kegagalan spesifik tersebut. Skrip ini juga menggunakan regular expression untuk mengambil pesan kesalahan yang tepat dari teks.
Hal ini memungkinkan skrip untuk menunjukkan penyebab sebenarnya, seperti:
- overloaded_error
- rate_limit_exceeded
- context_length_exceeded
Setelah melihat detail kesalahannya, saya menemukan akar masalahnya. Crash tersebut terjadi karena rantai fallback model. Saya menghapus model fallback gratis yang menyebabkan kegagalan beruntun (cascading failures). Menghapusnya membuat cron saya lebih cepat dan lebih andal.
The Result Skrip tersebut sekarang berjalan setiap malam. Skrip ini memeriksa transkrip hari sebelumnya. Jika menemukan crash senyap, ia akan mengirimkan peringatan ke Telegram saya.
Saya tidak lagi menunggu berhari-hari untuk menemukan kesalahan. Saya melihatnya setiap pagi.
The Lesson Dasbor hijau bukan berarti agen Anda bekerja. Status framework dan output agen adalah dua hal yang berbeda.
Jika Anda menjalankan agen otomatis, jangan hanya mengandalkan kode status. Periksa transkripnya. Buatlah alat untuk memeriksa transkrip tersebut bagi Anda. Kegagalan senyap adalah jenis yang menyebabkan kerusakan paling besar.
Optional learning community: https://t.me/GyaanSetuAi