10 Dolarlık Bir Çip Üzerinde 180M Parametreli LLM

p-for-llm adlı yeni bir proje etkileyici bir iş başarıyor. 180,9 milyon parametreli bir modeli ESP32-P4 mikrodenetleyici üzerinde çalıştırıyor. Bu çipin maliyeti altı ile on dolar arasında değişiyor.

Küçük çipler üzerindeki çoğu viral yapay zeka projesi basit görevlere odaklanıyor. Kısa hikayeler yazan bir modeli sergiliyorlar. Bu modellerin genellikle çok az parametresi vardır ve gerçek bir kullanışlılıkları yoktur.

p-for-llm farklı. Kullanışlılığı hedefliyor.

Çalışma mantığı şu şekildedir:

  • Mixture-of-Experts (MoE) mimarisi kullanıyor.
  • Her token için yönlendirici (router), 29 uzmandan birini seçiyor.
  • Diğer 28 uzman devre dışı kalıyor.
  • Bu, yüksek bilgi düzeyini korurken hesaplama gücünden tasarruf sağlıyor.
  • Modeli küçük belleğe sığdırmak için ternary (üçlü) ağırlıklar kullanıyor.
  • Model saniyede yaklaşık 9 token üretiyor.

Eğitim süreci de dikkat çekici. Geliştirici, tek bir RTX 5060 Ti tüketici sınıfı grafik kartı kullandı. Burada devasa bir laboratuvar veya büyük bir bütçe yok. Sadece orta segment bir GPU'ya ve sabra sahip tek bir kişi var.

Bilmeniz gereken bir püf noktası var. Model henüz tam anlamıyla otonom değil. Başlangıçta ağırlıkları USB üzerinden karta yüklemeniz gerekiyor. Henüz bir SD karttan yükleme yapan bağımsız bir cihaz değil.

Bu hala bir bulut demosu değil. Hesaplamalar doğrudan çip üzerinde yerel olarak yapılıyor. Bu, verileri sadece bir sunucuya aktaran projelerin çok üzerinde devasa bir adım.

Bu neden önemli?

Küçük modeller genellikle bir duvara toslar. Büyüleyici olabilirler ancak talimatları takip edemezler. p-for-llm bu uçurumu aşmaya çalışıyor. ChatML istemlerini (prompts) destekliyor ve araç çağırma (tool calling) konusunda erken belirtiler gösteriyor.

Bu proje, gerçek ilerlemenin genellikle sessizce gerçekleştiğini gösteriyor. Viral projeler manşetlerin peşinden koşarken, ciddi geliştiriciler sınırlarını ve dipnotlarını paylaşıyorlar.

Bu rakamları doğrulamak için donanımı şahsen test edeceğim.

Kaynak: https://dev.to/aiexplore369zoho/the-180m-parameter-llm-running-on-a-10-microcontroller-and-almost-nobody-noticed-4d3n

İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi