Khả năng quan sát cho Email Agent
Bạn không thể theo dõi một email agent làm việc trong thời gian thực.
Nhưng bạn có thể thấy mọi thứ nó đã làm ngày hôm qua chỉ với một lệnh gọi API.
Xây dựng các agent trên email mang lại cho bạn khả năng quan sát tích hợp sẵn. Hầu hết các hệ thống tự trị đều yêu cầu thêm các công cụ để truy vết (tracing) và ghi nhật ký (logs). Một email agent có được những điều này miễn phí vì hộp thư chính là bản ghi.
Dưới đây là cách bạn sử dụng email để giám sát các agent của mình:
Giám sát đầu vào Mỗi tin nhắn đến đều kích hoạt một sự kiện
message.created. Điều này cung cấp thread ID mà bạn cần để tái cấu trúc cuộc hội thoại. Nếu một tin nhắn quá lớn, hãy tìm triggermessage.created.truncated. Điều này cho bạn biết cần lấy toàn bộ nội dung thông qua ID.Giám sát đầu ra Nền tảng sẽ báo cáo về mọi lượt gửi. Hãy theo dõi ba trigger này để kiểm tra tình trạng phân phối của bạn: •
message.send_success: Máy chủ người nhận đã chấp nhận thư. •message.send_failed: Một quy tắc hoặc chính sách đã chặn thư gửi đi. •message.bounce_detected: Máy chủ từ xa đã từ chối thư.
Sự gia tăng số lượng send_failed là dấu hiệu đầu tiên cho thấy có vấn đề. Nó có nghĩa là một quy tắc hoặc hạn mức (quota) đang kìm hãm agent của bạn.
Giám sát trạng thái Các thư mục trong hộp thư đóng vai trò như một máy trạng thái (state machine). • Thư mục Junk: Cho bạn thấy bộ lọc spam đang bắt được những gì. • Thư mục Drafts: Đóng vai trò như một hàng đợi phê duyệt cho các thiết kế có sự tham gia của con người (human-in-the-loop). Nếu một bản nháp nằm đó quá lâu, quy trình phê duyệt của bạn đang bị đình trệ. • Thư mục Sent: Cung cấp một nhật ký kiểm tra (audit log) hoàn hảo. Nhật ký này không thể mâu thuẫn với thực tế vì email chính là thực tế.
Giám sát quản trị Nếu một agent bỏ lỡ một tin nhắn, hãy kiểm tra việc đánh giá các quy tắc. Bạn có thể truy vấn lý do tại sao một quy tắc đã từ chối tin nhắn ở lớp SMTP. Điều này thay thế việc đoán mò bằng dữ liệu.
Một giới hạn cần lưu ý: Bạn có thể theo dõi việc phân phối, nhưng bạn không thể theo dõi xem một người có mở hoặc nhấp vào liên kết hay không thông qua API này. Bạn cũng cần ghi lại lập luận (reasoning) của chính mình. Hộp thư cho thấy agent đã làm gì, nhưng bạn phải ghi lại tại sao agent lại quyết định làm như vậy.
Hãy bắt đầu bằng việc theo dõi ba yếu tố này:
message.send_successmessage.send_failedmessage.bounce_detected
Lỗi đầu vào thường hiển hiện rõ ràng. Lỗi đầu ra thường âm thầm. Theo dõi các tín hiệu này giúp bạn tìm ra lỗi trong vài phút thay vì vài tuần.
Source: https://dev.to/qasim157/observability-for-email-agents-4egn
Optional learning community: https://t.me/GyaanSetuAi