Yapay Zeka Ajanınız Ne Kadar Otonomiye Sahip Olmalı?

İnsanlar Agentic AI'yı daha fazla otonomi için bir yarış olarak görüyor.

Daha fazla araç istiyorlar. Daha fazla muhakeme. Daha fazla bağımsızlık.

Yazılım mühendisleri bu şekilde çalışmaz. Sırf popüler oldukları için mikroservisler inşa etmeyiz. Yetenek ile karmaşıklığı dengeleyen sistemler inşa ederiz.

Yapay zeka ajanları da aynı yaklaşımı gerektirir.

Soru, bir ajanın ne kadar otonom olabileceği değildir. Soru, bir ajanın ne kadar otonom olması gerektiğidir.

Otonomi bir tasarım kararıdır. Bir ajan her karar verdiğinde, onun sorumluluğunu artırmış olursunuz.

Yüksek otonomi, bir ajanın yeni durumlara uyum sağlamasına yardımcı olur. Bir ajanın sürekli rehberlik almadan hedeflere ulaşmasını sağlar.

Ancak yüksek otonomi, bir ajanı tahmin etmeyi ve hata ayıklamayı (debug) zorlaştırır. Güvenmeyi de zorlaştırır.

Otonomi bir spektrumdur.

  • Düşük otonomi: Sadece metin üreten sistemler.
  • Orta otonomi: Eylemler öneren ve araçlar kullanan sistemler.
  • Yüksek otonomi: Az miktarda insan yardımıyla bir hedefe nasıl ulaşacağına karar veren sistemler.

Her adım yeteneği ve karmaşıklığı artırır. Probleminizin gerektirdiği seviyede durmalısınız.

Bir İK asistanını düşünün. Politika sorularını yanıtlar. Çalışan kayıtlarını değiştirme yetkisi vermek, çok fazla değer katmadan risk ekler.

Şimdi bir operasyon ajanını düşünün. Production olaylarını inceler. Logları kontrol etmeli ve dokümantasyon aramalıdır. Bulduklarına göre aramasını uyarlaması gerekir. Sabit bir iş akışı burada başarısız olur. Daha yüksek otonomi bu çözümü iyileştirir.

Otonomi seviyesini problem belirler.

Başarılı production sistemleri genellikle kasıtlı olarak sınırlandırılır. Buna "sınırlı otonomi" (bounded autonomy) denir. Sistemi güvenilir tutmak için sınırlar koyarsınız.

Sınır örnekleri:

  • Araç erişimini kısıtlama
  • Görev kapsamını sınırlama
  • Büyük eylemler için insan onayı gerektirme
  • Harcama limitleri belirleme
  • Ne zaman bir insana aktarılacağını (escalate) tanımlama

Bu kısıtlamalar ajanınızı daha öngörülebilir kılar.

Daha fazla otonomi vermeden önce şu soruları sorun:

  • Sabit bir iş akışı bunu çözebilir mi?
  • Bir sonraki adım bilinmeyen bir bilgiye mi bağlı?
  • Ajan başarısız olursa ne olur?
  • Riskli eylemleri düşük riskli muhakemeden ayırabilir misiniz?

En iyi mühendisler otonomiyi maksimize etmezler. Tam olarak nerede başlayıp nerede bittiğine karar verirler.

İyi mimari, sadece gerekli olanı yapmak ve daha fazlasını yapmamaktır.

Kaynak: https://dev.to/rohith_kn/how-much-autonomy-should-your-ai-agent-have-4h4n