Agentic AI'da Gözlemlenebilirlik
Geleneksel mikro hizmetler gözlemlenebilirliği çözdü. İzler (Traces) yolları gösterir. Metrikler gecikmeyi (latency) gösterir. Günlükler (Logs) hikayeyi anlatır.
Agentic AI bu modeli bozuyor.
Tek bir kullanıcı sorusu; koruma mekanizmalarını (guardrails), oturum okumalarını, birden fazla LLM çağrısını, web aramalarını ve muhakeme döngülerini (reasoning loops) tetikleyebilir. Hatalar genellikle sinsidir. Bir araç yavaş olabilir. Bir bağlam penceresi (context window) çok fazla büyüyebilir. Bir model, hata döndürmeden yük altında performans kaybedebilir.
Bu sistemleri nasıl gözlemlediğimizi test etmek için yakın zamanda OpenTelemetry NBA Agent demosunu çalıştırdım. Güvenilir yapay zeka ajanları oluşturma konusunda öğrendiklerim şunlardır:
Ajan Gözlemlenebilirliğinin Üç Sütunu
• İzler (Traces), birim testlerinden daha değerlidir. Aynı istem (prompt), farklı çalıştırmalarda farklı yanıtlar verebilir. Sadece nihai metni değil, ajanın izlediği yolu da görmelisiniz.
• Niyeti eylemle ilişkilendirin. Tek kelimelik bir yanıt hava durumu için işe yarar ancak finansal tavsiye için başarısız olur. Koruma mekanizması kararlarını ve araç kullanımını kullanıcı niyetiyle ilişkilendirmeniz gerekir.
• Temel değerleri (baselines) erkenden belirleyin. Model güncellemeleri ve API değişiklikleri davranışı değiştirir. İşlerin iyileşip iyileşmediğini veya kötüleşip kötüleşmediğini bilmek için dağıtım (deployment) öncesinde metriklere ihtiyacınız vardır.
Neyi Ölçmeli?
Sadece model çağrısını izleyemezsiniz. Tüm ekosistemi instrument etmelisiniz.
Model Katmanı İşlem adlarını, sağlayıcı ayrıntılarını ve token kullanımını takip edin. Süreyi ve bitiş nedenlerini (finish reasons) izleyin.
Araçlar ve MCP Sunucuları Araçlara mikro hizmetler gibi davranın. Gecikmeyi, başarı oranlarını ve argümanları takip edin. Eğer bir ajan yavaşsa, bu genellikle LLM değil, yavaş bir harici API'dir.
Koruma Mekanizmaları (Guardrails) Koruma mekanizmalarının ne sıklıkla ve hangi konu başlığıyla devreye girdiğini ölçün. Bu, güvenlik katmanlarının maliyetini yönetime açıklamanıza yardımcı olur.
Bellek ve Oturumlar Bağlam şişmesine (context bloat) dikkat edin. Tur başına artan girdi token sayıları, devasa maliyet artışlarına yol açabilir.
Panonuz (Dashboard) İçin Temel Metrikler
• Gecikme (Latency): İlk Token Süresi (TTFT) ve uçtan uca tur gecikmesi. • Maliyet (Cost): Toplam tokenlar ve oturum başına tahmini harcama. • Güvenilirlik (Reliability): Span türüne göre hata oranları (LLM vs Araç vs HTTP). • Davranış (Behavior): Ajan döngü derinliği ve araç çağırma sıklığı.
Agentic AI, planlayıcının olasılıksal (probabilistic) olduğu dağıtık bir sistemdir. Eğer tüm ajan döngüsünü göremiyorsanız, onu production ortamında çalıştıramazsınız.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi