Otonom araçlar, endüstriyel robotlar ve drone filoları, eski otopilot sistemlerine güç veren o katı, elle yazılmış kural kitapçıklarını takip etmezler. Büyük miktarda veriden öğrenirler, bu da davranışlarının deterministik değil, olasılıksal olduğu anlamına gelir. Geleneksel bir uçak otopilotu, sensör girdilerine açıkça kodlanmış bir mantık aracılığıyla tepki verir. Bir makine öğrenmesi modeli ise eğitim sırasında çıkardığı örüntüler aracılığıyla tepki verir. Bu ayrım, doğrulamayı çok daha zor hale getirir ve makine öğrenmesi topluluğunun neden ad-hoc testler yerine yapılandırılmış güvence çerçevelerine yöneldiğinin tam olarak sebebidir.
Makine Öğrenmesi Güvencesi Neden Vazgeçilmezdir
Otonom bir sistem hata yaptığında, sonuçlar bir sunucu hatasının veya donmuş bir uygulamanın ötesine geçer. Bir depo robotunun bir engeli yanlış tanımlaması, envanterin yok olmasına veya bir işçinin yaralanmasına neden olabilir. Bir teslimat dronunun bir elektrik hattını açık gökyüzü olarak sınıflandırması, altyapıya çarpmasına yol açabilir. Bu sistemler karmaşık sinir ağlarına ve istatistiksel modellere dayandığı için hata modları oldukça sinsidir. Nadiren bariz şekillerde bozulurlar. Bunun yerine, eğitim sırasında gördükleri dağılımların dışında kalan girdilerle karşılaştıklarında sessizce performans kaybederler.
Otonom makine öğrenmesindeki hatalar her zaman bariz şekilde kötü kodlardan kaynaklanmaz. Eğitim verilerindeki boşluklardan, beklenmedik çevresel değişimlerden veya uç durumlardaki (edge cases) aşırı güvenli tahminlerden kaynaklanabilirler. ML bileşenlerini standart yazılım modülleri gibi ele alan ve bir birim test paketinin yeterli olduğunu varsayan kuruluşlar, laboratuvar doğruluğunun gerçek dünya güvenliğine dönüşmediğini çok geç fark ederler. Öğrenilmiş davranışın kendine özgü risklerini ele alan sistematik bir standarda ihtiyacınız vardır. AMLAS çerçevesinin tasarlanma amacı tam olarak bu boşluğu kapatmaktır.
AMLAS Aslında Neleri Kapsar
Açılımı "Otonom Sistemlerde Kullanım için Makine Öğrenmesi Güvencesi" (Assurance of Machine Learning for use in Autonomous Systems) olan AMLAS, öğrenilmiş bileşenlerin yüksek riskli dağıtımlar için uygun olduğunu doğrulamak adına uçtan uca bir yaklaşım sunar. Güvenliği, sonradan akla gelen bir düşünce veya sürüm öncesi son bir engel olarak görmez. Bunun yerine, güvence faaliyetlerini sistemin yaşam döngüsüne işler.
Çerçeve üç pratik sütun üzerine yoğunlaşır:
ML modelleri için doğrulama yöntemleri. Bu, doğruluk (accuracy) veya F1 skoru gibi standart eğitim-test ayrımı metriklerinin çok ötesine geçer. AMLAS kapsamındaki güvence; modelin karar sınırlarında öngörülebilir davranıp davranmadığını, dağılım dışı (out-of-distribution) girdilere nasıl tepki verdiğini ve güven skorlarının gerçek belirsizliğin güvenilir göstergeleri olup olmadığını sorgular. Mühendislerin, modeli adversarial (çelişkili) örneklerle incelemeleri ve eğitim setinin biraz dışındaki alanlardan gelen girdilere karşı stres testine tabi tutmaları beklenir. Amaç mükemmellik değil; modelin ne zaman güvenilebileceğini ve ne zaman güvenilemeyeceğini bilmek için yeterli kanıt elde etmektir.
Otonom eylemler için güvenlik protokolleri. Öğrenilmiş bir algı modeli, fiziksel donanımı hareket ettiren planlama ve kontrol yazılımına veri sağlar. AMLAS, bu alt akış eylemlerinin koruyucu bariyerler (guardrails) içermesini şart koşar. Bir sinir ağı bir nesneyi yanlış sınıflandırsa bile, araç veya robot fiziksel olarak katı kısıtlamaları ihlal eden bir yörüngeyi icra edemeyecek durumda olmalıdır. Bu; robotik kollarda tork limitleri, dronlar için coğrafi sınırlama (geofencing) veya kara araçları için zorunlu frenleme koridorları anlamına gelebilir. Otonom sistemin, tek bir model hatasının kontrol edilemez bir fiziksel olaya dönüşmesini engelleyecek mimari katmanlara ihtiyacı vardır.
Belirsizliği azaltma yöntemleri. Makine öğrenmesindeki belirsizlik birden fazla formda ortaya çıkar. Sensör okumalarındaki veya ortamlardaki doğal gürültüyü temsil eden aleatorik belirsizlik ve modelin henüz bilmediği şeyleri yansıtan epistemik belirsizlik mevcuttur. AMLAS, her ikisini de nicelleştiren ve yöneten uygulamaları teşvik eder. Teknikler arasında, birden fazla modelin görüş ayrılığını bir uyarı işareti olarak işaretlediği topluluk (ensemble) yöntemleri veya düzensiz davranışlara neden olduğu bilinen verileri reddeden girdi doğrulama katmanları yer alabilir. Belirsizliği tamamen ortadan kaldıramayabilirsiniz, ancak sistemin bu belirsizliğe göre körü körüne hareket etmesini engelleyebilirsiniz.
Güven İnşa Etmek İçin Pratik Bir Yol
Çerçeveler, ancak ekipler onları uygulamaya koyarsa önem kazanır. AMLAS, kuruluşlar disiplinli bir sıra izlediğinde en iyi şekilde eyleme dönüşür.
Henüz tek bir veri seti toplamadan önce güvenlik hedeflerinizi belirleyin. Geleneksel yazılım mühendisliğinde önce gereksinimler gelir. Makine öğrenmesi projeleri genellikle bunu tersine çevirerek güvenliği, model eğitildikten sonra çözülmesi gereken bir problem olarak görür. Bu alışkanlığı tersine çevirin. Net bir operasyonel tasarım alanı ile başlayın. Sistem hangi koşullar altında çalışacak? Her bir tehlike için kabul edilebilir hata oranı nedir? Hangi hatalar acil insan müdahalesi gerektirir? Bu soruları erkenden yanıtlamak, veri toplamadan model mimarisine kadar her şeyi şekillendirir.
Modellerinizi gerçek operasyonel karmaşayı yansıtan verilerle test edin. Laboratuvar benchmark'ları rahatlatıcıdır ancak yanıltıcıdır. Yalnızca kusursuz barkod görüntüleri üzerinde eğitilmiş bir depo robotu; etiketler kırışık, ışık yetersiz veya kir nedeniyle engellenmiş olduğunda başarısız olacaktır. Sadece açık havada test edilen otonom bir drone, parlamalar ve rüzgar kırılmasıyla mücadele etmek zorunda kalacaktır. Küratörlü veri setlerinde asla görünmeyen sinir bozucu uç durumlar da dahil olmak üzere, gerçek dağıtım ortamlarından gelen loglara ihtiyacınız var. Otonom sistemin insan operatörlerle paralel olarak kararlar aldığı ancak donanımı henüz kontrol etmediği gölge mod (shadow mode) denemeleri yapın. Logları titizlikle karşılaştırın.
Dağıtımdan sonra performansı sürekli izleyin. Dünya durmuyor. Mevsimsel ışık değişiklikleri, aşınmış yol yüzeyleri, yeni paketleme tasarımları ve değişen ağ trafiği modelleri, bir zamanlar mükemmel çalışan bir modelin performansını düşürebilir. Tahmin güvenini, girdi dağılım kaymasını ve olay oranlarını takip eden bir telemetri sistemi kurun. Davranış değiştiğinde insan incelemesini veya geçici operasyonel kısıtlamaları tetikleyecek eşikler belirleyin. Bir model, gönderip unuttuğunuz statik bir ürün değildir. Gerçek dünyayla tanıştığı an yaşlanmaya başlayan bir bileşendir.
Gerçek Dünya Doğrulaması Hakkındaki Acı Gerçek
Birçok ekip, yüksek bir doğrulama puanının hazır olunduğuna işaret ettiğine kendini inandırır. Öyle değildir. Gerçek dünya doğrulaması, rahatsızlığı kabullenmeyi gerektirir. Bu; drone'ları rüzgarlı koşullarda uçurmak, depo robotlarını lambaların titrediği gece vardiyalarında çalıştırmak ve algı modellerini yol tabelalarındaki adversarial çıkartmalara maruz bırakmak demektir. Eğer test ortamınız düzenli ve öngörülebilir geliyorsa, test yapmıyorsunuz demektir. Sadece prova yapıyorsunuzdur.
Bu süreç pahalı ve yavaştır. Makine öğrenmesi mühendisleri, güvenlik uzmanları ve fiziksel ortamı anlayan alan operatörleri arasında iş birliği gerektirir. Karşılığı ise bir kanıt kümesidir. Nihayetinde dağıtım yaptığınızda; belirli test koşullarını, bilinen hata modlarını ve her bir riske bağlı azaltma yöntemlerini gösterebilmelisiniz. Bu dokümantasyon, bir prototipi, insanların yakınında denetimsiz olarak çalıştırmaya gönüllü olacağınız bir sistemden ayıran şeydir.
Sistemleri Zaman İçinde Güvenilir Tutmak
Dağıtım sonrası izleme, birçok güvence programının sessizce çöktüğü yerdir. Ekipler lansmanı kutlar ve kaynakları bir sonraki özelliğe aktarır. Bu sırada, dağıtılan model, eğitim deneyiminden ince farklarla sapan bir girdi akışıyla karşı karşıya kalır. Aktif izleme olmadan bu kayma, ciddi bir olayın reaktif bir incelemeye zorlamasına kadar birikir.
Yapılandırılmış geribildirim döngüleri kurun. Modelin düşük güven gösterdiği veya insan operatörlerin müdahale ettiği her durumu kaydedin. Bu logları modeli periyodik olarak yeniden eğitmek veya ince ayar yapmak için kullanın, ancak her güncellemeyi orijinal sürüm için geçerli olan aynı güvence kapılarından geçirerek doğrulayın. Model güncellemelerine, mekanik bir fren sistemini yeni bir tasarımla değiştirmek için uygulayacağınız aynı dikkatle yaklaşın.
Asıl Çıkarım
Otonom sistemlerde makine öğrenmesi bir araştırma kum havuzu değildir. Fiziksel risk taşıyan bir altyapıdır ve havacılık-uzay ile tıbbi cihaz mühendislerinin donanıma uyguladığı aynı titizliği hak eder. AMLAS, bu titizlik için bir terminoloji ve iş akışı sunar. Güveni sizin yerinize otomatik olarak inşa etmeyecektir ancak onu kazanmanız için size tekrarlanabilir bir yol sunar. Dürüst güvenlik hedefleriyle başlayın. Kirli, otantik verilerle doğrulayın. Sistem yayına girdiğinde onu bir şüpheci gibi izleyin. Çerçeveler mevcut. Geri kalanı disiplindir.
AMLAS kılavuzunun tam teknik dökümü için orijinal detayları buradan okuyun: https://dev.to/paperium/guidance-on-the-assurance-of-machine-learning-in-autonomous-systems-amlas-f9
Güvence stratejilerini tartışmak ve benzer problemler üzerinde çalışan bir toplulukla pratik notlar paylaşmak isterseniz, konuşmaya buradan katılın: https://t.me/GyaanSetuAi