Hugging Face, geliştiricilerin yapay zeka modellerini doğrudan bir web tarayıcısında çalıştırmasına olanak tanıyan 207 WebGPU çekirdeği yayınladı. Bu çekirdekler; daha hızlı çıkarım, çevrimdışı çalışma ve verilerin kullanıcının cihazında kalması vaadini sunuyor.

Yapay zekayı tarayıcıda çalıştırmak neden önemli

Çoğu yapay zeka servisi uzak sunucularda bulunur. Bir istem yazarsınız, metin ağ üzerinden iletilir, bir veri merkezi işlemcisi bunu işler ve yanıt geri akar. Bu kurulum, sağlayıcılara donanım, fiyatlandırma ve yazılım yığını üzerinde kontrol sağlar. Ayrıca her sorguyu üçüncü taraf bir boru hattından geçirerek ham girdileri sağlayıcının yürüttüğü her türlü günlükleme işlemine açık hale getirir.

Tarayıcı tabanlı bir çekirdek bu boru hattını ortadan kaldırır. Modelin hesaplama gücü, sonucu görüntüleyen makinenin kendisinde bulunur; bu da gecikmeyi azaltır ve ağ sıçramasını ortadan kaldırır. Bir veri merkezine olan bağlantı kopsa bile çıkarım işlemi çalışmaya devam eder. Geliştiriciler, birçok GPU üzerinde performans testi yapmak için aynı tarayıcıyı bir test yatağı olarak kullanabilirken, kullanıcılar verilerini tam olarak hangi donanımın işlediğini görebilirler.

Teknik paket

207 çekirdeğin her biri; beklenen girdi ve çıktıları belirten sürümlendirilmiş bir sözleşme, shader davranışını doğrulamak için bir dizi doğruluk durumu, farklı GPU'lardaki performansı gösteren kıyaslama verileri ve geliştiricilerin üzerinde değişiklik yapabileceği yeniden kullanılabilir shader şablonları ile birlikte sunulur.

Hızın ötesine geçen faydalar

  • Önce gizlilik odaklı çıkarım – Veriler kullanıcının cihazından asla ayrılmaz; bu da dinleme veya bulut sağlayıcı veri madenciliği için saldırı yüzeyini daraltır.
  • Çevrimdışı yetenek – Uygulamalar, internetin kesintili veya hiç olmadığı durumlarda çalışmaya devam eder; bu da uzaktan çalışma, saha kurulumları ve afet müdahalesi için büyük bir avantajdır.
  • Donanımın demokratikleşmesi – WebGPU'yu destekleyen her tarayıcı aynı yapay zeka temellerine erişebilir, böylece maliyetli sunucu sözleşmelerine gerek kalmaz.

Bu avantajlar, bir avuç büyük firmadan hesaplama gücü kiralamadan akıllı ajanlar çalıştırma yeteneği olan "yapay zeka özgürlüğü"ne yönelik artan taleple örtüşüyor.

Madalyonun öteki yüzü: yeni riskler

Yerel yürütme, kötü niyetli aktörler için engelleri de düşürür. Zararlı bir model, bir tarayıcı eklentisi veya statik bir web sayfası gibi görünüp kurbanın makinesinde sessizce çalışabilir ve her bağlı cihazı bir çıkarım motoruna dönüştürebilir. Onay mekanizmaları genellikle kontrol edilmeyen kutucuklara indirgenir ve cihaz içi çıkarım hızı, büyük ölçekli gözetimi daha ucuz hale getirebilir.

Kimler kazanacak, kimler kaybedebilir

  • Geliştiriciler, özellikle gecikme ve veri egemenliğinin önemli olduğu yerlerde, yapay zeka özellikleri için düşük maliyetli ve platformlar arası bir hedef kazanır.
  • Son kullanıcılar gizlilik ve çevrimdışı yetenek kazanır, ancak yerel olarak çalışan kodları inceleme sorumlulu