Gerçekten Yayına Alınan Ajanlar

Ajanlarla ilgili hype döngüsünün net bir cevabı var. Üretim ortamındaki ajanlarla kazanan ekipler, otonom sürüler inşa etmiyor. Sıkıcı sistemler inşa ediyorlar.

Bir ay boyunca üretim ortamında nelerin işe yaradığını izledim. Kalıp çok net. Para kazandıran veya zaman kazandıran ajanlar sonsuz döngülere sahip değil. Gözlemlenebilirler. Sınırlandırılmışlardır. İhtiyaç duyduklarında insan yardımına başvururlar.

Bu durum, ajan platformlarını değerlendirme biçiminizi değiştirir.

Üretim ortamında ajan kullanan ekipler şunlara güvenir:

  • Manuel istem (prompt) oluşturma
  • Hazır modeller
  • İnsan müdahalesinden önce 10 adım veya daha azla sınırlanmış yürütme

Bu, mühendislik disiplinidir.

Demolar, tam otonomiye sahip, kendi kendini düzelten ajanlar gösteriyor. Gerçekten yayına alınan ajanlar ise farklı görünüyor. Belirgin kontrol noktaları (explicit gates) kullanıyorlar.

Bir müşteri hizmetleri ajanı 5 adımı yönetir ve ardından üst birime aktarır. Bir kodlama ajanı testleri çalıştırır ancak bir inceleme olmadan kodu birleştirmez. Bir veri ajanı, bir sorgu çalıştırmadan önce onay ister. Bunlar işe yarayan mimari tercihlerdir.

Başarılı ajanlar dar kapsamlı, tekrarlanabilir sorunları çözer. İadeleri yönetir, destek taleplerini sınıflandırır veya uyumluluk sorunlarını işaretler. Dar kapsam, öngörülebilir hatalar ve daha kolay hata ayıklama (debugging) anlamına gelir.

Ajanları yayına almanın en zor kısmı onları daha akıllı hale getirmek değil; onları görünür ve yönetilebilir kılmaktır.

Ekipler genellikle şu nedenlerle başarısız olur:

  • Ajan hata yaptığında ne yaptığını açıklayamazlar
  • Kötü bir sonucu takip edemezler (trace edemezler)
  • Maliyet sınırları koyamazlar
  • Araç onaylarını zorunlu kılamazlar
  • Bir kararı anlamak için oturumu yeniden oynatamazlar

Bunlar altyapı sorunlarıdır.

Bir platform seçerken sorularınızı değiştirin.

  • Hız hakkında soru sormayın. Her kararı ve izi (trace) görüp göremediğinizi sorun.
  • Model desteği hakkında soru sormayın. Birden fazla çalışma zamanını (runtime) tek bir yerden yönetip yönetemeyeceğinizi sorun.
  • Otonomi hakkında soru sormayın. İnsan onay noktaları (human gates) eklemenin ne kadar kolay olduğunu sorun.

Kazanan altyapı; gözlemlenebilirlik, yönetişim ve sınırlı otonomi sağlar. Bu bir kontrol düzlemidir (control plane). Güvenilir ajanları, gece saat 3'te üretim ortamını bozanlardan ayırır.

Üretim ekipleri artık ajan inşa edip edemeyeceklerini sormuyorlar. Onları nasıl güvenilir bir şekilde işleteceklerini soruyorlar.

Sıkıcı altyapı kazanır.

Kaynak: https://dev.to/paultwist/the-agents-that-actually-ship-why-boring-beats-autonomous-49li

İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi