Ajan Temelli Yapay Zeka Yönetişim Çerçevesi
Statik PDF politikaları dinamik yapay zeka ajanlarını yönetemez. Her ajan eylemi için manuel onay gerektirirseniz hız kaybedersiniz.
Ölçeklenmek için Human-in-the-Loop (HITL) modelinden Human-on-the-Loop (HOTL) modeline geçmelisiniz. HITL'de insanlar darboğaz oluşturur. HOTL'de ise insanlar, guardrail'ler (koruma bariyerleri) inşa eden ve sistemleri izleyen mimarlar olarak görev yapar.
Özerklik Spektrumu
Bir satın alma ajanına, bir DevOps ajanıyla aynı şekilde yaklaşmamalısınız. Ajanlarınızı karar verme yetkilerine göre kategorize edin:
• Danışmanlık (Düşük Özerklik): Ajan eylemler önerir. İnsan bunları uygular. • Yarı Otonom (Orta Özerklik): Ajan güvenli bir bölge içinde hareket eder. Yalnızca bir sınıra ulaştığında yardım ister. • Tam Otonom (Yüksek Özerklik): Ajan, hedefleri bir sandbox (kum havuzu) içinde baştan sona yönetir.
Örnek: Bir destek ajanı 50 dolara kadar iade yapabilir. Eğer talep 51 dolarsa, ajan durmalı ve bir insana sormalıdır. Bu, yetki kaymasını (authority drift) önler.
Güvenlik İçin Prompt'lara Güvenmeyi Bırakın
Sistem prompt'ları kural değil, öneridir. Olasılıksaldırlar. Üretim ortamında (production), bir öneri bir güvenlik açığıdır. Akıl yürütmeyi (reasoning) uygulama (enforcement) aşamasından ayırmalısınız.
Katmanlı bir savunma kullanın:
- Prompt Katmanı: Niyet ve yönergeleri sağlar.
- Guardrail Katmanı: Eylemleri katı kurallara göre doğrulayan deterministik bir ara katmandır (middleware).
- API Katmanı: Kaynak düzeyinde kimlik ve erişim yönetimini uygular.
Bu kurulum prompt injection saldırılarını önler. Eğer guardrail ara katman seviyesindeyse, prompt içindeki bir hile işe yaramayacaktır.
Gözlemlenebilirlik ve Kill Switch
Standart loglar yeterli değildir. Chain-of-Thought (CoT) sürecini loglamanız gerekir. Bir ajanın bir eylemi neden doğru bulduğunu bilmelisiniz.
Çoklu ajan iş akışlarında zincirleme hataları önlemek için bir Kill Switch Protok
- Yönetişimi promptlardan ara katmana taşıyın.
- Güvenlik açıklarını önlemek için JIT erişimi uygulayın.
- Sadece girdileri ve çıktıları değil, akıl yürütme adımlarını da günlüğe kaydedin.
- Özyinelemeli döngü hatalarını önlemek için katı token sınırları kullanın.
Kaynak: https://dev.to/omnithium/the-agentic-ai-governance-framework-balancing-autonomy-and-control-2occ
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi