Google'ın 28,9 milyon parametreye düşürülmüş Gemma dil modeli, artık yaklaşık 8 dolara satılan bir ESP32-S3 mikrodenetleyicisi üzerinde çalışıyor. Bağımsız bir geliştirici, tam özellikli bir LLM'nin herhangi bir IoT cihazının içine gizlenebilecek kadar ucuz donanımlarda çalışabileceğini gösteren bir kavram kanıtı (proof-of-concept) oluşturdu.
Bu yöntem nasıl çalışıyor
Kaynakta açıklandığı üzere, Gemma'nın sıkıştırma araçları, modelin ağırlıklarını ve yürütme grafiğini ESP32'nin RAM'ine ve mütevazı flaş depolama alanına sığana kadar sıkıştırıyor. Düşük maliyetli sensörler ve giyilebilir teknolojiler için favori olan bu çip, modeli tamamen çevrimdışı olarak çalıştırıyor; herhangi bir bulut bağlantısına ihtiyaç duyulmuyor.
Bu durum IoT güvenliği için neden alarm veriyor
- Çevrimdışı çıkarım (Offline inference) verileri cihaz üzerinde tutarak sunucu tarafındaki günlükleri siler, ancak aynı zamanda savunmacılar için bir görünürlük noktasını da ortadan kaldırır.
- Ucuz ve her yerde bulunan donanımlar, saldırganların gelişmiş yapay zekayı sıradan tüketici veya endüstriyel ortamlara karışan cihazlara yerleştirmesine olanak tanır.
- Yama ve güncelleme yorgunluğu – ESP32 cihazları genellikle nadiren güncellenen yazılımlar (firmware) çalıştırır; bu da savunmasız bir yapay zeka modülünü lojistik bir kabusa dönüştürür.
Potansiyel avantajlar ve dengeleyici unsurlar
Yapay zekayı uç birimlerde (edge) çalıştırmak, ham sensör verileri asla bir sunucuya akmadığı için kullanıcı gizliliğini korur. Ancak aynı gizlilik kalkanı kötüye kullanılabilir.
Savunmacılar için sırada ne var
28 milyon parametreli bir LLM'yi 8 dolarlık bir çip üzerinde çalıştırma yeteneği, bir zamanlar yalnızca buluta özgü olan bir kabiliyeti gizli ve yaygın bir tehdide dönüştürüyor. Kuruluşlar, uç yapay zekayı (edge AI) sadece bir kolaylık olarak değil, bir güvenlik sınırı olarak ele almalıdır.