272 Uzman Riskleri Belirledi. Kimse Mekanizmaları Belirlemedi.
Bir MIT çalışması 272 küresel uzmana anket uyguladı. Yapay zeka risklerini incelediler. Sonuçlar net.
24 yapay zeka risk alanından 18'inin beş yıl içinde en az %10 felaketle sonuçlanma olasılığı var.
Bu bağlamda felaket şunları ifade eder:
- Bir milyondan fazla ölüm.
- 100 milyar dolardan fazla hasar.
- Demokratik normların çöküşü.
En büyük riskler; tehlikeli yetenekler, rekabet dinamikleri, silahlar, gücün merkezileşmesi ve yanlış bilgidir.
Çalışma bir sorumluluk boşluğunu ortaya koyuyor. Yapay zeka risklerinden zarar görenler halktır. Riskleri düzeltebilecek olanlar ise geliştiriciler ve yöneticilerdir. Havacılık veya nükleer güç gibi diğer sektörlerde, bu boşluğu kapatmak için zorunlu standartlar ve sorumluluk mekanizmaları kullanırız. Yapay zekada ise bu mekanizmalar henüz mevcut değil.
Daha derin bir boşluk var. Bu boşluk, hataları öngören araştırmacılar ile sistemleri inşa eden mühendisler arasında yer alıyor.
Araştırmacılar makaleler yazar. Mühendisler ise blog yazılarını ve kıyaslamaları (benchmarks) okur. Aynı dili konuşmuyorlar. Bir mühendis performans artışı görürken, bir araştırmacı felaket riski görür. Aralarında bir köprü yok.
Çalışma riskleri isimlendiriyor ancak onlara neden olan mühendislik hatalarını isimlendirmiyor.
Örneğin:
- Çoklu ajan (multi-agent) riskleri: Ortak protokollerin eksikliği sistem çakışmalarına yol açar.
- Rekabet dinamikleri: Ürünü bir an önce piyasaya sürme telaşı, ekiplerin bağımsız doğrulamayı atlamasına neden olur. Bunun yerine daha hızlı ancak güvensiz olan öz-doğrulamayı (self-verification) kullanırlar.
- Güvenlik açıkları: Ekipler kodu taramak için LLM'leri kullanıyor ancak yapılandırma ve altyapı risklerini gözden kaçırıyorlar.
İstikrarlı bir sistem beş parçaya ihtiyaç duyar:
- Bir Araç (model).
- Bir Motor (beyan edilen niyet).
- Bir Şanzıman (sözleşmeler ve CI/CD).
- Bir Kontrol Ünitesi (bağımsız bir oracle).
- Bir Muhafaza (zorunlu sınırlar).
Çoğu yapay zeka sistemi Kontrol Ünitesi ve Muhafaza kısımlarından yoksundur. Gönüllü koruma bariyerlerine (guardrails) güveniyorlar. Bu bariyerler modeller geliştikçe genellikle etkisini yitiriyor.
Sektör, %10'luk felaket olasılığını kabul edilebilir bir risk olarak görüyor. Ancak bu doğru değil. Geliştiricilerin gönüllü eylemleri yeterli değil. Rekabet, güvenlik adımlarını atlamak için bir teşvik yaratıyor.
Sadece tavsiyeye değil, mekanik bir zorunluluğa ihtiyacımız var. Öngörülen hatalar gerçekleşmeden önce risk araştırmaları ile mühendislik uygulamaları arasındaki boşluğu kapatmamız gerekiyor.
Kaynak: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi