لینکس کے بیس سال، اور اب میں اپنا AI چلاتا ہوں
میں تقریباً 20 سالوں سے Linux اور Ubuntu استعمال کر رہا ہوں۔ میرا سفر 2007 میں شروع ہوا جب میرے والد نے مجھے Ubuntu انسٹال کرنے کے بارے میں ایک ای میل بھیجی تھی۔
آج کل، AI کا بڑا رجحان ہے۔ زیادہ تر لوگ بڑے لینگویج ماڈلز (large language models) کے لیے بھاری فیس ادا کرتے ہیں۔ Copilot اور Anthropic جیسی کمپنیاں اکثر اپنے لائسنس تبدیل کرتی رہتی ہیں۔ اخراجات تیزی سے بڑھتے جاتے ہیں۔
میں اس مسئلے کو حل کرنے کے لیے اوپن سورس (open source) کا استعمال کرتا ہوں۔ میں نے اپنے Apple Silicon Mac پر ایک لوکل AI اسٹیک بنایا ہے۔
میں Ollama کے بجائے oMLX استعمال کرتا ہوں۔ یہ Mac ہارڈ ویئر پر بہتر کام کرتا ہے۔ میں Hugging Face سے ماڈلز ڈاؤن لوڈ کرتا ہوں۔ میں mlx-community builds استعمال کرتا ہوں۔ یہ 4-bit quantized ہوتے ہیں۔ اس سے 60GB کا ماڈل 17GB کی ڈسک اسپیس میں سما جاتا ہے۔
میں oMLX کو ہر وقت ایک Homebrew سروس کے طور پر چلتا رکھتا ہوں۔ یہ میرے لاگ ان ہونے پر شروع ہو جاتا ہے اور اگر کریش ہو جائے تو خود بخود دوبارہ شروع ہو جاتا ہے۔
میں نے اسے اس طرح سیٹ اپ کیا ہے:
• brew trust jundot/omlx
• brew services start omlx
اگر آپ 'trust' والا مرحلہ چھوڑ دیں گے، تو Homebrew فیل ہو جائے گا۔
جب میں اسے استعمال نہیں کر رہا ہوتا تو oMLX بیکار پڑا رہتا ہے۔ یہ میرے CPU اور GPU کا استعمال صرف تب کرتا ہے جب میں اسے کال کرتا ہوں۔ میں اسے اپنے ٹولز جیسے Zed editor یا opencode terminal کے ساتھ جوڑ دیتا ہوں۔
میری مشین پر مجھے جو رفتار ملتی ہے وہ یہ ہے:
- Gemma 4 (31B): 27 tokens/sec
- Qwen 3.6 (27B): 30 tokens/sec
- Nemotron (30B): 158 tokens/sec
Nemotron ایک mixture-of-experts ماڈل ہے۔ یہ بہت تیزی سے چلتا ہے کیونکہ یہ ہر ٹوکن کے لیے اپنے ویٹس (weights) کا صرف ایک چھوٹا حصہ استعمال کرتا ہے۔
لوکل ماڈلز چلانے سے مجھے آزادی ملتی ہے۔ میں اسکرپٹس کو لوپ پر چلا سکتا ہوں یا launchd کے ذریعے کاموں کو شیڈول کر سکتا ہوں۔ میرے پاس ہفتہ وار چیک لسٹوں اور روزانہ کی منصوبہ بندی کے لیے کام موجود ہیں۔ میں API اخراجات یا ٹوکن کی حدود کی فکر کیے بغیر رات بھر بھاری کام چلا سکتا ہوں۔
میں VoiceInk اور Whisper کو بھی لوکل طور پر استعمال کرتا ہوں۔ اس سے میں ڈیٹا تیسرے فریق (third parties) کو بھیجے بغیر آڈیو کو ٹرانسکرائب (transcribe) کر سکتا ہوں۔
Apple Silicon ہارڈ ویئر مہنگا ہے۔ تاہم، یہ آپ کو اس طاقت کو استعمال کرنے کی اجازت دیتا ہے جس کے لیے آپ پہلے ہی ادائیگی کر چکے ہیں تاکہ آپ اپنا خود کا AI چلا سکیں۔
آپ میرا مکمل سیٹ اپ یہاں دیکھ سکتے ہیں: github.com/kenahrens/mac-local-ai
ماخذ (Source): https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi