Observabilitas untuk Agen Email
Anda tidak bisa mengawasi agen email bekerja secara real-time.
Namun, Anda dapat melihat semua yang dilakukannya kemarin hanya dengan satu panggilan API.
Membangun agen di atas email memberi Anda observabilitas bawaan. Sebagian besar sistem otonom memerlukan alat tambahan untuk tracing dan log. Agen email mendapatkan ini secara gratis karena kotak masuk adalah catatannya.
Berikut cara Anda menggunakan email untuk memantau agen Anda:
Pemantauan Input Setiap pesan masuk memicu event message.created. Ini menyediakan thread ID yang Anda butuhkan untuk membangun kembali percakapan. Jika pesan terlalu besar, cari trigger message.created.truncated. Ini memberi tahu Anda untuk mengambil seluruh isi pesan melalui ID.
Pemantauan Output Platform melaporkan setiap pengiriman. Pantau ketiga trigger ini untuk melihat kesehatan pengiriman Anda: • message.send_success: Server penerima menerima email tersebut. • message.send_failed: Aturan atau kebijakan memblokir email keluar. • message.bounce_detected: Server jarak jauh menolak email tersebut.
Peningkatan jumlah send_failed adalah tanda pertama adanya masalah. Ini berarti ada aturan atau kuota yang membatasi (throttling) agen Anda.
Pemantauan Status (State) Folder kotak masuk bertindak sebagai state machine. • Folder Junk: Menunjukkan apa yang ditangkap oleh filter spam Anda. • Folder Drafts: Berfungsi sebagai antrean persetujuan untuk desain human-in-the-loop. Jika sebuah draf tertahan di sana terlalu lama, proses persetujuan Anda terhenti. • Folder Sent: Menyediakan log audit yang sempurna. Log tersebut tidak mungkin bertentangan dengan kenyataan karena email adalah kenyataannya.
Pemantauan Tata Kelola (Governance) Jika agen melewatkan sebuah pesan, periksa evaluasi aturan. Anda dapat menanyakan mengapa sebuah aturan menolak pesan pada lapisan SMTP. Ini menggantikan tebakan dengan data.
Satu batasan yang perlu diingat: Anda dapat melacak pengiriman, tetapi Anda tidak dapat melacak apakah manusia membuka atau mengklik tautan melalui API ini. Anda juga perlu mencatat penalaran Anda sendiri. Kotak masuk menunjukkan apa yang dilakukan agen, tetapi Anda harus mencatat mengapa agen memutuskan untuk melakukannya.
Mulailah dengan melacak tiga hal ini:
- message.send_success
- message.send_failed
- message.bounce_detected
Kegagalan input bersifat mencolok dan jelas. Kegagalan output bersifat senyap. Melacak sinyal-sinyal ini membantu Anda menemukan kesalahan dalam hitungan menit, bukan minggu.
Sumber: https://dev.to/qasim157/observability-for-email-agents-4egn
Komunitas belajar opsional: https://t.me/GyaanSetuAi