Ajanınız Yanlış Davrandığında, Bunu Hangisinin Yaptığını Biliyor musunuz?
Bir ajan, dokunmaması gereken bir kaydı siliyor. Yanlış bir kiracıya (tenant) mesaj gönderiyor. Bir API'yi döngü içinde çağırıyor ve faturanızı kabartıyor.
Bir olay yaşandıktan on dakika sonra tek bir soru sorarsınız: Bunu hangi ajan yaptı?
Eğer bilmiyorsanız, sorunu çözemezsiniz. Süreci durduramazsınız. Hatayı denetleyemezsiniz. Hatadan ders çıkaramazsınız.
Bu bir kimlik sorunudur.
Çoğu ekip, ajan eylemlerini gizleyen üç kalıpla karşılaşır:
- Paylaşılan servis hesapları: On ajan tek bir kimlik bilgisi seti kullanır. Günlüklerinizde (logs) her eylem aynı görünür.
- İnsan kimlik bilgileri: Ajan sizin giriş bilgilerinizi kullanır. Günlükler ajanın adını değil, sizin adınızı gösterir. Bu, devasa bir güvenlik riski oluşturur.
- Sessiz sapma (Silent drift): İki farklı yapı (build) aynı ismi kullanır. Biri yeni bir model veya yeni bir istem (prompt) kullanır ancak günlükler aynı kimliği gösterir.
Bunu düzeltmek için şu adımları izleyin:
Her ajana kendi kimliğini verin. İnsan kimlik bilgilerini kullanmayın. Paylaşılan hesapları kullanmayın. Ajan, kendisi olarak kimlik doğrulamalıdır.
Her eyleme şu altı özel alanı damgalayın:
- Sorumlu taraf (Accountable party): Bu ajandan kim sorumlu?
- Operasyonel sahip (Operational owner): Onu günlük olarak kim yönetiyor?
- Kiracı (Tenant): Bu hangi müşteri için?
- Ajan-tipi-id (Agent-type-id): Bu hangi spesifik yapı (build)?
- Ajan-örnek-id (Agent-instance-id): Bu hangi spesifik çalışma (run)?
- İzleme bağlamı (Trace context): Bu, çağrı zincirinin neresinde?
Versiyonlama için karma (hash) kullanın. Ajanınıza "support-agent-v2" adını vermeyin. Sistem istemini (system prompt) değiştirirseniz isim aynı kalır ancak davranış değişir. Bunun yerine bir içerik karması (content hash) kullanın. Konteyner görüntüsü, istem, model ve yapılandırmaya dayalı bir karma oluşturun. Bir satır kod değiştirirseniz ID değişir. Bu, sessiz sapmayı görünür kılar.
Soy ağacını (lineage) kaydedin. Ajanlar alt ajanlar oluşturur. Hangi üst ajanın alt ajanı başlattığını kaydetmelisiniz. Ayrıca üst ajanın alt ajana verdiği istemi de kaydetmelisiniz. Enjekte edilmiş talimatları veya zehirlenmiş verileri bulmanın tek yolu budur.
Kimlik, kurtarma yüzeyinizdir. Bir durdurma anahtarı (kill switch) kullanmanıza ve bir denetim izi (audit trail) oluşturmanıza olanak tanır. Bunu bir olay yaşanmadan önce kurmalısınız. Bir kriz sırasında kimlik eklemeye çalışmak için çok geçtir.
Günlüklerinizi hemen şimdi kontrol edin. Bir saat önceki bir eyleme bakın. O eylemi gerçekleştiren spesifik yapının (build) adını söyleyebilir misiniz? Eğer söyleyemiyorsanız, kapatmanız gereken bir boşluk var demektir.
Kaynak: https://dev.to/brennhill/when-your-agent-does-something-bad-can-you-tell-which-agent-did-it-37a2
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi