Obserwowalność agentów e-mailowych
Nie możesz obserwować pracy agenta e-mailowego w czasie rzeczywistym.
Ale możesz zobaczyć wszystko, co zrobił wczoraj, za pomocą jednego wywołania API.
Budowanie agentów w oparciu o e-mail zapewnia wbudowaną obserwowalność. Większość systemów autonomicznych wymaga dodatkowych narzędzi do śledzenia (tracingu) i logów. Agent e-mailowy otrzymuje je za darmo, ponieważ skrzynka pocztowa stanowi zapis zdarzeń.
Oto jak wykorzystać e-mail do monitorowania swoich agentów:
Monitorowanie wejścia (Input Monitoring) Każda przychodząca wiadomość wyzwala zdarzenie message.created. Dostarcza ono identyfikator wątku (thread ID) niezbędny do odtworzenia konwersacji. Jeśli wiadomość jest zbyt duża, szukaj wyzwalacza message.created.truncated. Informuje on, że należy pobrać pełną treść za pomocą identyfikatora.
Monitorowanie wyjścia (Output Monitoring) Platforma raportuje każdą wysyłkę. Śledź te trzy wyzwalacze, aby monitorować skuteczność dostarczania: • message.send_success: Serwer odbiorcy zaakceptował wiadomość. • message.send_failed: Reguła lub polityka zablokowała wiadomość wychodzącą. • message.bounce_detected: Serwer zdalny odrzucił wiadomość.
Wzrost liczby send_failed to pierwszy sygnał problemu. Oznacza to, że reguła lub limit (quota) ogranicza działanie Twojego agenta.
Monitorowanie stanu (State Monitoring) Foldery skrzynki pocztowej działają jak maszyna stanów. • Folder Spam: Pokazuje, co wyłapują Twoje filtry antyspamowe. • Folder Szkice: Służy jako kolejka zatwierdzeń w projektach typu human-in-the-loop. Jeśli szkic zalega tam zbyt długo, proces zatwierdzania został wstrzymany. • Folder Wysłane: Zapewnia idealny log audytowy. Log nie może być sprzeczny z rzeczywistością, ponieważ e-mail stanowi rzeczywistość.
Monitorowanie nadzoru (Governance Monitoring) Jeśli agent przeoczy wiadomość, sprawdź ewaluację reguł. Możesz sprawdzić, dlaczego reguła odrzuciła wiadomość na warstwie SMTP. Zastępuje to zgadywanie danymi.
Jedno ograniczenie, o którym należy pamiętać: możesz śledzić dostarczanie, ale za pomocą tego API nie sprawdzisz, czy człowiek otworzył wiadomość lub kliknął w link. Musisz również logować własne rozumowanie. Skrzynka pocztowa pokazuje, co zrobił agent, ale musisz logować, dlaczego agent zdecydował się to zrobić.
Zacznij od śledzenia tych trzech elementów:
- message.send_success
- message.send_failed
- message.bounce_detected
Błędy wejścia są głośne i oczywiste. Błędy wyjścia są ciche. Śledzenie tych sygnałów pomaga wykryć błędy w ciągu minut, a nie tygodni.
Źródło: https://dev.to/qasim157/observability-for-email-agents-4egn
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi