40.000 Dolarlık Yerel Bir LLM Sistemi İçin Hesaplamaları Yaptım

Bulut sağlayıcılardan zeka kiralamayı bırakın. Ona sahip olmaya başlayın.

OpenAI ve Anthropic için her ay 70 dolar harcıyorum. Bu, yılda 840 dolar eder. 2023'ten beri bunu yapıyorum. Sırf robotlarla sohbet etmek için ikinci el bir araba parası ödedim.

Jamesob tarafından hazırlanan yeni bir rehber, en iyi modellerin yerel olarak çalıştırılmasını öneriyor. 40.000 dolarlık donanımla Claude Opus'a yakın bir performans elde edebileceğinizi iddia ediyor.

Maliyetleri analiz ettim. Yerel LLM sistemleri hakkındaki gerçekler şunlar:

51.700 Dolarlık Kurulum Bu kurulum dört adet NVIDIA RTX PRO 6000 GPU kullanıyor. • Toplam VRAM: 384GB • Yetenek: GLM-5.2 gibi devasa modelleri saniyede 80 token hızında çalıştırır. • Kullanım durumu: Bu, ekipler veya yüksek ölçekli kurumsal ihtiyaçlar içindir. • Zorluğu: Eğer sadece tek bir kişiyseniz, maliyetin kendini amorti etmesi uzun zaman alır.

2.000 Dolarlık Kurulum (En İdeal Nokta) Bu, çoğu geliştirici için en iyi seçimdir. • Donanım: İki adet ikinci el RTX 3090 GPU (toplam 48GB VRAM). • Yetenek: Qwen3.6-27B ve Whisper-large-v3 çalıştırır. • Avantaj: Kodlama ve akıl yürütme konusunda GPT-4 ile rekabet eder. • Geri dönüş: Eğer API'lere ayda 500 dolar harcıyorsanız, bu sistem 4 ay içinde kendini amorti eder.

Neden yerel olarak kurmalısınız? • Gizlilik: Fikri mülkiyetinizi üçüncü taraflara sızdırmadan kodunuzu bir model üzerinden gönderin. • Güvenilirlik: ChatGPT çöktüğünde veya kullanım limitlerine takıldığında modeliniz çalışmaya devam eder. • Özgürlük: Ekstra maliyet olmadan binlerce deneysel istem (prompt) çalıştırın.

Dikkat edilmesi gerekenler AMD ciddi bir oyuncu haline geliyor. MI355X, NVIDIA'dan daha düşük maliyetler sunduğunu iddia ediyor. Yazılımı kullanmak daha zor ancak tasarruf büyük.

Gerçeklik Kontrolü Yerel kurulumlar "tak-çalıştır" değildir. Şunları halletmeniz gerekir:

  • Karmaşık BIOS ayarları.
  • Çekirdek (kernel) parametreleri ve güvenlik ödünleşimleri.
  • Evdeki sigortaları attırabilecek yüksek güç tüketimi.

Tavsiyem: Eğer bireysel bir geliştiriciyseniz, ikinci el RTX 3090'lar alın. 2.000 dolarlık kurulum yapabileceğiniz en akıllıca satın alımdır. Eğer API'lere ayda 5.000 dolar harcayan büyük bir ekipseniz, 51.000 dolarlık kurulum mükemmel bir mantığa oturur.

Yerel bir sistem kurdunuz mu? Deneyiminizi yorumlarda benimle paylaşın.

Kaynak: https://dev.to/sar_007/i-ran-the-numbers-on-building-a-40k-local-llm-rig-heres-when-it-actually-makes-sense-3bef

İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi