Ollama के साथ DeepSeek को Locally चलाएं
आप मात्र 10 मिनट में अपने कंप्यूटर पर AI मॉडल चला सकते हैं। DeepSeek मॉडल इसे आसान बनाते हैं।
मॉडल को स्थानीय (locally) रूप से चलाने से आपको मिलता है:
- पूर्ण गोपनीयता। आपका डेटा आपके अपने सिस्टम पर ही रहता है।
- शून्य लागत। आपको कोई API शुल्क नहीं देना पड़ता।
- ऑफलाइन एक्सेस। आपको इंटरनेट की आवश्यकता नहीं है।
- कोई सीमा नहीं। जितनी चाहें उतनी क्वेरी चलाएं।
मॉडल की आवश्यकताएं:
• 1.5B मॉडल: 4GB RAM • 7B मॉडल: 8GB RAM, 6GB GPU VRAM • 14B मॉडल: 16GB RAM, 10GB GPU VRAM • 33B मॉडल: 32GB RAM, 20GB GPU VRAM • 67B मॉडल: 64GB RAM, 40GB GPU VRAM
अधिकांश लैपटॉप के लिए 7B या 14B मॉडल सबसे अच्छे काम करते हैं।
इसे कैसे सेटअप करें:
- Ollama इंस्टॉल करें।
- macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh - Windows: ollama.com से डाउनलोड करें
मॉडल पुल (Pull) करें। चलाएं:
ollama pull deepseek-r1:7bमॉडल शुरू करें। चलाएं:
ollama run deepseek-r1:7b
आप अपने स्थानीय मॉडल से जुड़ने के लिए VS Code में Continue एक्सटेंशन का उपयोग कर सकते हैं। यह एक निजी कोडिंग असिस्टेंट बनाता है।
Ollama एक स्थानीय API भी प्रदान करता है। यह API OpenAI फॉर्मेट की तरह काम करता है। आप क्लाउड के बजाय किसी भी टूल को अपनी स्थानीय मशीन की ओर निर्देशित कर सकते हैं।
आपको कौन सा मॉडल चुनना चाहिए?
- DeepSeek R1: इसका उपयोग लॉजिक और डिबगिंग के लिए करें।
- DeepSeek V3: इसका उपयोग सामान्य चैट और लेखन के लिए करें।
- DeepSeek Coder: इसका उपयोग प्रोग्रामिंग कार्यों के लिए करें।
बेहतर प्रदर्शन के लिए टिप्स:
- मेमोरी बचाने के लिए q4 या q5 जैसे quantized मॉडल का उपयोग करें।
- सत्यापित करें कि GPU acceleration सक्रिय है।
- बड़े मॉडल चलाते समय अपने हार्डवेयर के तापमान की निगरानी करें।
सेटअप चेकलिस्ट:
- Ollama इंस्टॉल करें।
- अपना चुना हुआ DeepSeek मॉडल पुल करें।
- इसे अपने टर्मिनल में टेस्ट करें।
- इसे VS Code से कनेक्ट करें।
लोकल AI अब हर डेवलपर के लिए सुलभ है। यह गोपनीयता प्रदान करता है और पैसे बचाता है।
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi