ASUS ROG Ally Cihazımda Yerel Bir LLM Çalıştırdım

Birkaç hafta boyunca ASUS ROG Ally cihazımda yerel bir yapay zeka modeli çalıştırdım. Bunun eğlenceli bir proje olacağını düşünmüştüm. Aksine, donanım sınırları konusunda bir ders oldu.

Onu bir bulut alternatifi olarak değil, küçük görevler için özelleşmiş bir araç olarak kullandım. El tipi donanımlarda yapay zeka çalıştırmak hakkında öğrendiklerim şunlar.

Bellek Bariyeri

El tipi cihazlar Birleşik Bellek Mimarisi (Unified Memory Architecture) kullanır. Bu, CPU ve GPU'nun aynı RAM'i paylaştığı anlamına gelir. Varsayılan olarak GPU, belleğin çok küçük bir kısmını alır.

Eğer modeliniz bu bölüme sığmazsa, sistem CPU'yu kullanır. Bu da metin üretimini (generation) acı verici derecede yavaşlatır.

Çözüm:

  • BIOS'unuza girin.
  • UMA frame buffer değerini manuel olarak artırın.
  • Ben kendi cihazımda bu değeri 4 GB'a çıkardım. Bu değişiklik, diğer tüm ayarlardan daha fazla yardımcı oldu.

İşe Yaramayanlar

Belleğimden daha fazla verim almak için zRAM kullanmayı denedim. Başarısız oldum. Çoğu yapay zeka modeli, halihazırda sıkıştırılmış olan GGUF dosyalarını kullanır. Yer açmak için onları daha fazla sıkıştıramazsınız.

Yardımcı olması için disk swap (takas alanı) kullanmayı da denedim. Swap işleri hızlandırmaz; aksine kullanılamaz hale getirir. Eğer modeliniz disk swap'e bel bağlarsa, her birkaç saniyede yalnızca bir kelime görebilirsiniz.

Swap'i etkin tutmanın tek nedeni, RAM tükendiğinde sistemin işleminizi sonlandırmasını engellemektir.

Akıcı Çalıştırma İpuçları

Eğer yapay zeka çıktısı kesik kesik veya takılarak geliyorsa, Linux çekirdek (kernel) ayarlarınızı kontrol edin.

  • vm.swappiness değerinizi düşürün.
  • Bu, sistemin belleği çok erken bir aşamada swap alanına taşımasını engeller.
  • Bu, üretimin takılmak yerine daha istikrarlı hissedilmesini sağlar.

Model Seçimi Kullanım Durumuna Bağlıdır

Çoğu insan en hızlı modeli arar. Ben bunun yerine daha yavaş ama daha keskin bir modeli tercih ettim.

  • Gerçek zamanlı sohbet ediyorsanız hıza ihtiyacınız vardır.
  • Arka planda bir ajan çalıştırıyorsanız kaliteye ihtiyacınız vardır.

Kurulumumu arka plan görevleri için kullanıyorum. Bir istek gönderiyorum ve sonucu daha sonra kontrol ediyorum. Ekranı izlemediğim için bir yanıtın 8 saniye yerine 40 saniye sürmesi umurumda değil. En hızlı cevabı değil, en iyi cevabı istiyorum.

El tipi cihazlarda reasoning (akıl yürütme) modellerinden kaçının. Adım adım düşünme süreci, zayıf donanımlarda çok fazla zaman alır. Kalite artışı genellikle bu beklemeye değmez.

Bunun İçin Uygundur

16 GB'lık bir cihaz şunlar için harikadır:

  • Kısa e-postalar taslaklamak.
  • Küçük kod parçacıklarını incelemek.
  • Kaba günlük planlama yapmak.
  • Ağınızdan çıkmaması gereken özel görevler.

Şunlar için kötüdür:

  • Uzun belgeler.
  • Derin araştırmalar.
  • Karmaşık kodlama projeleri.

Yerel yapay zeka bir mucize değil, bir araçtır. Rutin ve hafif işler için mükemmeldir.

Source: https://dev.to/frankydzoro/i-ran-an-llm-locally-on-my-asus-rog-ally-and-heres-what-i-actually-learned-3o6j

Optional learning community: https://t.me/GyaanSetuAi