Observability für E-Mail-Agenten
Man kann einem E-Mail-Agenten nicht in Echtzeit bei der Arbeit zusehen.
Aber mit einem einzigen API-Aufruf können Sie alles sehen, was er gestern getan hat.
Das Erstellen von Agenten auf E-Mail-Basis bietet Ihnen integrierte Observability. Die meisten autonomen Systeme benötigen zusätzliche Tools für Tracing und Logs. Ein E-Mail-Agent erhält diese kostenlos, da das Postfach als Protokoll dient.
So nutzen Sie E-Mail, um Ihre Agenten zu überwachen:
Input-Überwachung Jede eingehende Nachricht löst ein message.created-Event aus. Dies liefert die Thread-ID, die Sie benötigen, um die Konversation wiederherzustellen. Wenn eine Nachricht zu groß ist, achten Sie auf den message.created.truncated-Trigger. Dieser signalisiert Ihnen, den vollständigen Inhalt über die ID abzurufen.
Output-Überwachung Die Plattform protokolliert jeden Versand. Verfolgen Sie diese drei Trigger, um den Status Ihrer Zustellung zu überwachen: • message.send_success: Der Empfänger-Server hat die E-Mail akzeptiert. • message.send_failed: Eine Regel oder Richtlinie hat die ausgehende E-Mail blockiert. • message.bounce_detected: Der Remote-Server hat die E-Mail abgelehnt.
Ein Anstieg der send_failed-Zahlen ist das erste Anzeichen für ein Problem. Es bedeutet, dass eine Regel oder ein Kontingent Ihren Agenten drosselt.
Zustandsüberwachung Postfachanordner fungieren als Zustandsautomat. • Spam-Ordner: Zeigt Ihnen, was Ihre Spam-Filter abfangen. • Entwürfe-Ordner: Dient als Genehmigungswarteschlange für Human-in-the-loop-Designs. Wenn ein Entwurf zu lange dort liegt, stockt Ihr Genehmigungsprozess. • Gesendet-Ordner: Bietet ein perfektes Audit-Log. Das Protokoll kann nicht von der Realität abweichen, da die E-Mail die Realität ist.
Governance-Überwachung Wenn ein Agent eine Nachricht übersieht, überprüfen Sie die Regelbewertungen. Sie können abfragen, warum eine Regel eine Nachricht auf der SMTP-Ebene abgelehnt hat. Dies ersetzt Vermutungen durch Daten.
Ein Limit, das man beachten sollte: Sie können die Zustellung verfolgen, aber über diese API können Sie nicht nachverfolgen, ob ein Mensch eine E-Mail geöffnet oder auf einen Link geklickt hat. Sie müssen zudem Ihre eigene Begründung protokollieren. Das Postfach zeigt, was der Agent getan hat, aber Sie müssen protokollieren, warum der Agent sich dazu entschieden hat.
Beginnen Sie mit der Verfolgung dieser drei:
- message.send_success
- message.send_failed
- message.bounce_detected
Fehler beim Input sind laut und offensichtlich. Fehler beim Output sind leise. Das Verfolgen dieser Signale hilft Ihnen, Fehler in Minuten statt in Wochen zu finden.
Source: https://dev.to/qasim157/observability-for-email-agents-4egn
Optional learning community: https://t.me/GyaanSetuAi