Otomatik İş Akışlarında LLM E-postalarını İzole Etmek
Bir LLM ajanı e-posta göndermeye veya biletleri (ticket) onaylamaya başladığında, sorun değişir. Artık mesele isteminizin (prompt) çalışıp çalışmadığı değildir. Artık sisteminiz üç katmana dayanır: karar, yürütme ve doğrulama.
Eğer bu katmanları birbirine karıştırırsanız, ekibiniz ajanın gerçekte ne yaptığını anlamakta zorlanacaktır.
E-posta adımı genellikle bir iş akışının sonu gibi görünür. Gerçekte ise hataların ilk ortaya çıktığı yerdir. Bir ajan bir isteği doğru şekilde sınıflandırabilir ancak yanlış kişiye gönderebilir veya süresi dolmuş bir bağlantı kullanabilir. Testleri ve izleri (trace) izole etmelisiniz.
Kararlı bir tasarım, zekayı tek seferde test etmeye çalışmaz. Bunun yerine, sisteminizi küçük sözleşmelere (contract) bölün:
- Girdi Sözleşmesi (Input Contract): Ajanın hangi verileri kullandığını ve hangi eylemleri talep edebileceğini tanımlayın.
- Yürütme Sözleşmesi (Execution Contract): Bir eylemin nasıl belirli bir e-postaya dönüştüğünü tanımlayın.
- Gözlemlenebilirlik Sözleşmesi (Observability Contract): Günlükleri (logs), alınan mesajları ve nihai sistem durumunu birbirine bağlayın.
E-posta mantığını serbest istemden (free prompt) uzak tutun. LLM, "send_followup_email" gibi bir eylem önerebilir. Ancak model; başlıkları, alıcıları veya yeniden deneme politikalarını belirlememelidir. Bu dönüşümler için deterministik kod kullanın.
Bu yaklaşım operasyonel riski azaltır. LLM önerir, sistem doğrular ve yürütücü (executor) gönderir.
Net bir görünürlük sağlamak için şu dört sinyali takip edin:
- Ajan tarafından verilen karar ve kullanılan bağlam.
- E-posta yürütücüsüne gönderilen nihai komut.
- İzole bir gelen kutusuna gelen mesaj.
- Bir bağlantıya tıklandıktan veya bir eylem onaylandıktan sonraki nihai etki.
İlk olaydan son tıklamaya kadar paylaşılan bir trace_id kullanın. Bu, hataları hızlıca bulmanıza yardımcı olur. Hatanın modelde mi, araç politikasında mı yoksa worker'da mı meydana geldiğini anlayabilirsiniz.
Daha iyi bir otomasyon için bu kontrol listesini takip edin:
- Her yürütmenin kendi
trace_id'si vardır. - LLM yalnızca geçerli bir şema dahilindeki eylemleri talep eder.
- E-posta yürütücüsü, alıcıyı ve şablonu yeniden doğrular.
- Her test senaryosu kendi izole gelen kutusunu kullanır.
- Son tıklama, beklenen durum değişikliğini onaylar.
- Günlükler (logs), tahmin yürütmeden vakayı takip etmenize olanak tanır.
Bu adımları ayırmak biraz daha fazla iş yükü getirir. Ancak size değerli bir şey sağlar: bir e-postanın neden gönderildiğini veya neden başarısız olduğunu açıklama yeteneği.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi