Kaya, Kağıt, Silikon: 235B'lik Bir Yapay Zeka Modelini MacBook'ta Nasıl Çalıştırdım
Çoğu insan, tüketici donanımlarında en gelişmiş yapay zeka modellerini çalıştıramayacağınızı söyler.
Qwen3-235B gibi bir modeli çalıştırmak için 470 GB RAM'e ihtiyacınız var. Üst düzey bir Mac Studio'da ise sadece 192 GB var. Sektör size bunun yerine bir bulut GPU kiralamanızı söyler.
Ben bir sistem mühendisi değil, bir web geliştiricisiyim. GPU çekirdekleri (kernels) veya düşük seviyeli bellek ile çalışmıyorum. Ancak bir sorum vardı: Ya modelin sadece gerçekten çalışan kısımlarını yüklerseniz?
Bir Mixture of Experts (MoE) modelinde, parametrelerin çoğu zaman büyük bir kısmı sessiz kalır. Ben de ağırlıkları (weights) tam ihtiyaç duyulmadan hemen önce yükleyen bir sistem kurmaya karar verdim.
C++ kodunu yazmama yardımcı olması için bir yapay zeka ajanı kullandım. Merakı ben getirdim, uygulama derinliğini ise ajan sağladı.
İlhamımı Filippo Biondi'nin bir uydu makalesinden aldım. Giza Piramidi'nin içini görmek için radar kullanmıştı. Radar kayayı delemez ancak kayanın darbe aldığında çıkardığı titreşimleri ölçebilir. İç yapıyı haritalamak için bu titreşimleri ölçmüştü.
Bu mantığı yapay zeka belleğine uyguladım.
Buna S-MoE (Seismic Mixture of Experts) diyorum. Üç akış kullanarak çalışıyor:
• Scout (Gözcü): RAM'de çalışan, modelin hafif bir parçası. Bir sonraki adımda hangi uzmanların (experts) aktif olacağını tahmin eder. • Streamer (Akışkan): Belirli uzman bloklarını SSD'nizden belleğe yükleyen bir I/O iş parçacığı (thread). • GPU: Henüz gelen ağırlıkları kullanarak matematiksel işlemleri gerçekleştirir.
Bu sistem, işletim sistemi önbelleğini (OS cache) atlamak için Direct I/O kullanır. Çalışma zamanı yığın tahsisleri (runtime heap allocations) yapmaz. Tüm işletim sistemi mutex'lerinden kaçınır.
Sonuç mu? 16 GB'lık bir Mac ile 512 GB'lık bir Mac, 235B'lik bir modelden tamamen aynı zekayı üretecektir. Sadece biri diğerinden daha hızlıdır.
Yapay zeka etrafındaki bellek duvarı bir doğa kanunu değil, bir yazılım varsayımıdır. En gelişmiş modelleri halihazırda sahip olduğunuz donanımlarda çalıştırabilirsiniz.
S-MoE açık kaynaklıdır.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi