اے آئی (AI) ٹریننگ کے لیے جی پی یو (GPUs) سی پی یو (CPUs) سے بہتر کیوں ہیں
آپ اے آئی کے لیے محض ایک بڑا سی پی یو کیوں نہیں بنا سکتے؟
یہ ایک عام سوال ہے۔ زیادہ تر لوگ سمجھتے ہیں کہ جی پی یو اس لیے جیت جاتے ہیں کیونکہ وہ تیز ہوتے ہیں۔ اصل وجہ ڈیزائن ہے۔ سی پی یو اور جی پی یو مختلف مسائل حل کرتے ہیں۔
اے آئی ٹریننگ کا زیادہ تر حصہ میٹرکس ملٹی پلیکیشن (matrix multiplication) ہے۔ آپ اربوں ریاضیاتی آپریشنز کرتے ہیں جو ایک دوسرے پر انحصار نہیں کرتے۔ اسے متوازی کام (parallel work) کہا جاتا ہے۔
سی پی یو پیچیدہ اور غیر متوقع کاموں کے لیے بنایا گیا ہے۔ یہ سلیکون کا استعمال ان چیزوں کے لیے کرتا ہے:
- برانچ پریڈکشن (Branch prediction)
- آؤٹ آف آرڈر ایگزیکیوشن (Out-of-order execution)
- بڑے کیشز (Large caches)
یہ خصوصیات سی پی یو کو ویب ریکویسٹ یا ڈیٹا بیس کوئری سنبھالنے میں مدد دیتی ہیں۔ لیکن اے آئی کے لیے، یہ خصوصیات ضائع ہو جاتی ہیں۔ دو نمبروں کو ایک ارب بار ضرب دینے کے لیے آپ کو کسی "اسمارٹ کور" کی ضرورت نہیں ہوتی۔
جی پی یو ایک مختلف راستہ اپناتا ہے۔ یہ پیچیدہ مشینری کو ختم کر دیتا ہے۔ چند اسمارٹ کورز کے بجائے، یہ ہزاروں سادہ کورز کا استعمال کرتا ہے۔
ہارڈ ویئر کا فرق بہت زیادہ ہے:
- Intel Xeon 6+ میں فی ساکٹ 288 تک کورز ہوتے ہیں۔
- NVIDIA Blackwell B300 میں 20,480 CUDA کورز ہوتے ہیں۔
پاور ایفیشنسی (power efficiency) بھی مختلف ہے۔ ایک Xeon کور تقریباً 1.5W استعمال کرتا ہے۔ ایک B300 کور تقریباً 0.07W استعمال کرتا ہے۔ آپ سی پی یو کی اس ذہانت کے لیے بجلی کی بھاری قیمت ادا کرتے ہیں جسے اے آئی ٹریننگ کبھی استعمال نہیں کرتی۔
میموری بینڈوتھ (Memory bandwidth) بھی اہمیت رکھتی ہے۔
- Xeon 6+ تقریباً 770 GB/s فراہم کرتا ہے۔
- B300 HBM3e میموری کا استعمال کرتے ہوئے 8 TB/s فراہم کرتا ہے۔
اگر ہزاروں کورز ڈیٹا کے انتظار میں فارغ بیٹھے رہیں تو وہ بیکار ہیں۔ جی پی یو بہت سے کورز کو وسیع میموری اسپیڈ کے ساتھ جوڑتے ہیں تاکہ وہ مل کر کام کر سکیں۔
اگر آپ ایک چپ پر 20,000 سی پی یو کورز لگانے کی کوشش کریں گے، تو آپ فوراً بجلی اور حرارت کی حد (power and heat wall) سے ٹکرا جائیں گے۔ آپ ان "اسمارٹ" خصوصیات کے لیے بھی ادائیگی کر رہے ہوں گے جن کی آپ کو ضرورت نہیں ہے۔
اسے اس طرح سوچیں:
- ایک سی پی یو کور فارمولا 1 کار کی طرح ہے۔ یہ تیز ہے اور موڑ کو اچھی طرح سنبھالتی ہے، لیکن یہ مہنگی ہے۔
- ایک جی پی یو کور فورک لفٹ (forklift) کی طرح ہے۔ یہ تیز یا پرتعیش نہیں ہے، لیکن فورک لفٹس کا ایک بیڑا ایک ریس کار کے مقابلے میں زیادہ کارگو منتقل کر سکتا ہے۔
جدید اے آئی دونوں کے ساتھ بہترین کام کرتی ہے۔ سی پی یو کاموں کو مینیج کرنے کے لیے دماغ کے طور پر کام کرتا ہے۔ جی پی یو بھاری ریاضیاتی کام کرنے کے لیے پٹھوں (muscle) کے طور پر کام کرتا ہے۔
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi