Yapay Zeka Eğitimi İçin Neden GPU'lar CPU'ları Geride Bırakır
Yapay zeka için neden sadece daha büyük bir CPU inşa edemiyorsunuz?
Bu yaygın bir sorudur. Çoğu insan GPU'ların daha hızlı oldukları için kazandığını düşünür. Gerçek neden ise tasarımla ilgilidir. CPU'lar ve GPU'lar farklı problemleri çözer.
Yapay zeka eğitimi çoğunlukla matris çarpımıdır. Birbirine bağlı olmayan milyarlarca matematiksel işlem gerçekleştirirsiniz. Buna paralel çalışma denir.
Bir CPU, karmaşık ve öngörülemeyen görevler için üretilmiştir. Silikonu şunlar için kullanır:
- Dallanma tahmini (Branch prediction)
- Sırasız yürütme (Out-of-order execution)
- Büyük önbellekler (Large caches)
Bu özellikler bir CPU'nun bir web isteğini veya bir veritabanı sorgusunu yönetmesine yardımcı olur. Ancak yapay zeka için bu özellikler israf olur. İki sayıyı bir milyar kez çarpmak için akıllı bir çekirdeğe ihtiyacınız yoktur.
Bir GPU farklı bir yol izler. Karmaşık mekanizmaları ortadan kaldırır. Birkaç akıllı çekirdek yerine binlerce basit çekirdek kullanır.
Donanım farkı devasadır:
- Intel Xeon 6+ soket başına 288 çekirdeğe kadar sahiptir.
- NVIDIA Blackwell B300, 20.480 CUDA çekirdeğine sahiptir.
Güç verimliliği de farklıdır. Bir Xeon çekirdeği yaklaşık 1,5W kullanırken, bir B300 çekirdeği yaklaşık 0,07W kullanır. Yapay zeka eğitiminin asla kullanmadığı CPU zekası için yüksek bir güç vergisi ödersiniz.
Bellek bant genişliği de önemlidir.
- Xeon 6+, yaklaşık 770 GB/s sağlar.
- B300, HBM3e bellek kullanarak 8 TB/s sağlar.
Binlerce çekirdek, veri beklerken boşta duruyorsa işe yaramaz. GPU'lar, birlikte çalışabilmeleri için birçok çekirdeği devasa bellek hızlarıyla eşleştirir.
Eğer tek bir çipe 20.000 CPU çekirdeği yerleştirmeye çalışsaydınız, anında bir güç ve ısı duvarına çarpar dınız. Ayrıca ihtiyacınız olmayan "akıllı" özellikler için de ödeme yapıyor olurdunuz.
Şöyle düşünün:
- Bir CPU çekirdeği bir Formula 1 arabasıdır. Hızlıdır ve virajları iyi alır ancak pahalıdır.
- Bir GPU çekirdeği bir forklifttir. Hızlı veya gösterişli değildir ancak bir forklift filosu, tek bir yarış arabasından daha fazla kargo taşır.
Modern yapay zeka her ikisiyle de en iyi şekilde çalışır. CPU, görevleri yönetmek için beyin görevi görür. GPU ise ağır matematiği yapmak için kas görevi görür.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi