𝗥𝘂𝗻 𝗗𝗲𝗲𝗽𝗦𝗲𝗲𝗸 𝗟𝗼𝗰𝗮𝗹𝗹𝘆 𝗪𝗶𝘁𝗵 𝗢𝗹𝗹𝗮𝗺𝗮
તમે 10 મિનિટમાં તમારા પોતાના કમ્પ્યુટર પર AI મોડલ્સ ચલાવી શકો છો. DeepSeek મોડલ્સ આ પ્રક્રિયાને સરળ બનાવે છે.
મોડલ્સ લોકલી ચલાવવાથી તમને નીચે મુજબના ફાયદા મળે છે:
- સંપૂર્ણ પ્રાઇવસી. તમારો ડેટા તમારા મશીન પર જ રહે છે.
- શૂન્ય ખર્ચ. તમારે કોઈ API ફી ચૂકવવી પડતી નથી.
- ઓફલાઇન એક્સેસ. તમારે ઇન્ટરનેટની જરૂર નથી.
- કોઈ મર્યાદા નથી. તમે તમારી ઈચ્છા મુજબ ગમે તેટલી ક્વેરીઝ ચલાવી શકો છો.
મોડલની જરૂરિયાતો:
• 1.5B મોડલ: 4GB RAM • 7B મોડલ: 8GB RAM, 6GB GPU VRAM • 14B મોડલ: 16GB RAM, 10GB GPU VRAM • 33B મોડલ: 32GB RAM, 20GB GPU VRAM • 67B મોડલ: 64GB RAM, 40GB GPU VRAM
મોટાભાગના લેપટોપ માટે 7B અથવા 14B મોડલ્સ શ્રેષ્ઠ રીતે કામ કરે છે.
તેને કેવી રીતે સેટ કરવું:
- Ollama ઇન્સ્ટોલ કરો.
- macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh - Windows: ollama.com પરથી ડાઉનલોડ કરો
મોડલ પુલ (Pull) કરો. ચલાવો:
ollama pull deepseek-r1:7bમોડલ શરૂ કરો. ચલાવો:
ollama run deepseek-r1:7b
તમે તમારા લોકલ મોડલ સાથે કનેક્ટ કરવા માટે VS Code માં Continue extension નો ઉપયોગ કરી શકો છો. આ એક પ્રાઇવેટ કોડિંગ આસિસ્ટન્ટ બનાવે છે.
Ollama એક લોકલ API પણ પ્રદાન કરે છે. આ API OpenAI ફોર્મેટની જેમ કામ કરે છે. તમે ક્લાઉડને બદલે કોઈપણ ટૂલને તમારા લોકલ મશીન પર પોઇન્ટ કરી શકો છો.
તમારે કયું મોડલ પસંદ કરવું જોઈએ?
- DeepSeek R1: લોજિક અને ડિબગિંગ માટે આનો ઉપયોગ કરો.
- DeepSeek V3: સામાન્ય ચેટ અને લખવા માટે આનો ઉપયોગ કરો.
- DeepSeek Coder: પ્રોગ્રામિંગ કાર્યો માટે આનો ઉપયોગ કરો.
વધુ સારા પર્ફોર્મન્સ માટે ટિપ્સ:
- મેમરી બચાવવા માટે q4 અથવા q5 જેવા quantized મોડલ્સનો ઉપયોગ કરો.
- GPU એક્સિલરેશન એક્ટિવ છે કે નહીં તે તપાસો.
- મોટા મોડલ્સ ચલાવતી વખતે તમારા હાર્ડવેરનું તાપમાન મોનિટર કરો.
સેટઅપ ચેકલિસ્ટ:
- Ollama ઇન્સ્ટોલ કરો.
- તમારું પસંદ કરેલું DeepSeek મોડલ પુલ કરો.
- તમારા ટર્મિનલમાં તેને ટેસ્ટ કરો.
- તેને VS Code સાથે કનેક્ટ કરો.
લોકલ AI હવે દરેક ડેવલપર માટે સુલભ છે. તે પ્રાઇવસી પૂરી પાડે છે અને પૈસા બચાવે છે.
વૈકલ્પિક લર્નિંગ કમ્યુનિટી: https://t.me/GyaanSetuAi