Ollama کے ساتھ DeepSeek کو مقامی طور پر چلائیں
آپ 10 منٹ میں اپنے کمپیوٹر پر AI ماڈلز چلا سکتے ہیں۔ DeepSeek ماڈلز اس کام کو آسان بناتے ہیں۔
ماڈلز کو مقامی طور پر چلانے سے آپ کو یہ فوائد حاصل ہوتے ہیں:
- مکمل رازداری۔ آپ کا ڈیٹا آپ کی مشین پر ہی رہتا ہے۔
- زیرو لاگت۔ آپ کو کوئی API فیس ادا نہیں کرنی پڑتی۔
- آف لائن رسائی۔ آپ کو انٹرنیٹ کی ضرورت نہیں ہے۔
- کوئی حد نہیں۔ جتنے چاہیں سوالات (queries) پوچھیں۔
ماڈل کی ضروریات:
• 1.5B ماڈل: 4GB RAM • 7B ماڈل: 8GB RAM, 6GB GPU VRAM • 14B ماڈل: 16GB RAM, 10GB GPU VRAM • 33B ماڈل: 32GB RAM, 20GB GPU VRAM • 67B ماڈل: 64GB RAM, 40GB GPU VRAM
زیادہ تر لیپ ٹاپس کے لیے 7B یا 14B ماڈلز بہترین کام کرتے ہیں۔
اسے سیٹ اپ کرنے کا طریقہ:
- Ollama انسٹال کریں۔
- macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh - Windows: ollama.com سے ڈاؤن لوڈ کریں۔
ماڈل پل (pull) کریں۔ چلائیں:
ollama pull deepseek-r1:7bماڈل شروع کریں۔ چلائیں:
ollama run deepseek-r1:7b
آپ اپنے مقامی ماڈل سے منسلک ہونے کے لیے VS Code میں Continue ایکسٹینشن استعمال کر سکتے ہیں۔ یہ ایک نجی کوڈنگ اسسٹنٹ (coding assistant) تیار کرتا ہے۔
Ollama ایک مقامی API بھی فراہم کرتا ہے۔ یہ API OpenAI فارمیٹ کی طرح کام کرتا ہے۔ آپ کلاؤڈ کے بجائے کسی بھی ٹول کو اپنی مقامی مشین کی طرف سمت (point) کر سکتے ہیں۔
آپ کو کون سا ماڈل منتخب کرنا چاہیے؟
- DeepSeek R1: اسے منطق (logic) اور ڈی بگنگ (debugging) کے لیے استعمال کریں۔
- DeepSeek V3: اسے عام چیٹ اور لکھنے کے لیے استعمال کریں۔
- DeepSeek Coder: اسے پروگرامنگ کے کاموں کے لیے استعمال کریں۔
بہتر کارکردگی کے لیے تجاویز:
- میموری بچانے کے لیے q4 یا q5 جیسے quantized ماڈلز استعمال کریں۔
- تصدیق کریں کہ GPU acceleration فعال ہے۔
- بڑے ماڈلز چلاتے وقت اپنے ہارڈ ویئر کے درجہ حرارت پر نظر رکھیں۔
سیٹ اپ چیک لسٹ:
- Ollama انسٹال کریں۔
- اپنا منتخب کردہ DeepSeek ماڈل پل (pull) کریں۔
- اسے اپنے ٹرمینل میں ٹیسٹ کریں۔
- اسے VS Code سے منسلک کریں۔
مقامی AI اب ہر ڈویلپر کے لیے قابل رسائی ہے۔ یہ رازداری فراہم کرتا ہے اور پیسے بچاتا ہے۔
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi