𝟯𝟮𝗕 𝗟𝗟𝗠 𝟮𝟬𝟬𝟴 𝗫𝗲𝗼𝗻 𝘂𝘇𝗲𝗿𝗶𝗻𝗱𝗲: 𝗥𝗮𝗺, 𝗩𝗥𝗔𝗠'𝗱𝗮𝗵𝗮 𝗼𝗻𝗲𝗺𝗹𝗶𝗱𝗶𝗿
İş laptopumda 20 GB'lık bir modeli çalıştırmayı denedim. Laptopta bir RTX 4070 ve 16 GB RAM var. Başarısız oldu. Sistem tamamen dondu.
Bunun yerine eski bir 2008 sunucusunu test etmeye karar verdim. Sunucuda iki adet Intel Xeon E5440 CPU ve 64 GB RAM var. GPU'su yok.
Hedef basitti. Yeterli belleğe sahip eski bir donanım, laptopumun çalıştıramadığı büyük bir modeli çalıştırabilir mi?
Donanım karşılaştırması şu şekilde:
Laptop:
- CPU: Modern dizüstü bilgisayar
- RAM: 16 GB
- GPU: 8 GB VRAM
- Sonuç: Sistem donması
Server:
- CPU: 2x Xeon E5440
- RAM: 64 GB
- GPU: Yok
- Sonuç: Çalışıyor
Sunucu yavaş. Saniyede yaklaşık 0,01 token üretiyor. Teste gece yarısı başladım ve sabah kontrol ettim.
Model, Forth dilinde kod yazmaya çalıştı. Birkaç saat sonra iki farklı sürüm üretti. Her iki sürüm de çalışmayı başaramadı.
Buradan iki şey öğrendim:
RAM miktarı önemlidir. 64 GB sistem RAM'i, toplamda 24 GB VRAM ve RAM'in çalıştıramayacağı modelleri çalıştırmanıza olanak tanır. Ancak, saniyede 0,01 token işlemek iş için pratik değildir.
Büyük modeller sihirli değildir. Büyük bir model, eğer o dil üzerinde eğitilmemişse Forth gibi niş bir dilde programlama yapamaz. Çalışan bir kod elde etmek için daha iyi bir sürece ihtiyacınız var. Algoritmalara, deterministik transpiler'lara ve daha iyi araçlara ihtiyacınız var.
Bir fikri test etmek için pahalı donanımlar satın almayın. Deneylerinizi önce elinizdekilerle yapın. Yavaş çıkarım (inference) hala çıkarımdır. Devasa bir fatura ödemeden ihtiyacım olan cevabı bana verdi.
Kaynak: https://dev.to/ua3mqj/32b-llm-on-a-2008-xeon-when-ram-matters-more-than-vram-28e2
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi