𝗥𝘂𝗻 𝗗𝗲𝗲𝗽𝗦𝗲𝗲𝗸 𝗟𝗼𝗰𝗮𝗹𝗹𝘆 𝗪𝗶𝘁𝗵 𝗢𝗹𝗹𝗮𝗺𝗮
ನೀವು ಕೇವಲ 10 ನಿಮಿಷಗಳಲ್ಲಿ ನಿಮ್ಮ ಸ್ವಂತ ಕಂಪ್ಯೂಟರ್ನಲ್ಲಿ AI ಮಾಡೆಲ್ಗಳನ್ನು ಚಲಾಯಿಸಬಹುದು. DeepSeek ಮಾಡೆಲ್ಗಳು ಇದನ್ನು ಸುಲಭವಾಗಿಸುತ್ತವೆ.
ಮಾಡೆಲ್ಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ (Locally) ಚಲಾಯಿಸುವುದರಿಂದ ನಿಮಗೆ ಸಿಗುವ ಪ್ರಯೋಜನಗಳು:
- ಸಂಪೂರ್ಣ ಗೌಪ್ಯತೆ. ನಿಮ್ಮ ಡೇಟಾ ನಿಮ್ಮ ಯಂತ್ರದಲ್ಲೇ ಇರುತ್ತದೆ.
- ಶೂನ್ಯ ವೆಚ್ಚ. ನೀವು ಯಾವುದೇ API ಶುಲ್ಕಗಳನ್ನು ಪಾವತಿಸಬೇಕಾಗಿಲ್ಲ.
- ಆಫ್ಲೈನ್ ಪ್ರವೇಶ. ನಿಮಗೆ ಇಂಟರ್ನೆಟ್ ಅಗತ್ಯವಿಲ್ಲ.
- ಯಾವುದೇ ಮಿತಿಗಳಿಲ್ಲ. ನೀವು ಎಷ್ಟು ಬೇಕಾದರೂ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಬಹುದು.
ಮಾಡೆಲ್ ಅವಶ್ಯಕತೆಗಳು:
• 1.5B ಮಾಡೆಲ್: 4GB RAM • 7B ಮಾಡೆಲ್: 8GB RAM, 6GB GPU VRAM • 14B ಮಾಡೆಲ್: 16GB RAM, 10GB GPU VRAM • 33B ಮಾಡೆಲ್: 32GB RAM, 20GB GPU VRAM • 67B ಮಾಡೆಲ್: 64GB RAM, 40GB GPU VRAM
ಹೆಚ್ಚಿನ ಲ್ಯಾಪ್ಟಾಪ್ಗಳಿಗೆ 7B ಅಥವಾ 14B ಮಾಡೆಲ್ಗಳು ಅತ್ಯುತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.
ಇದನ್ನು ಹೇಗೆ ಹೊಂದಿಸುವುದು (Setup):
- Ollama ಅನ್ನು ಇನ್ಸ್ಟಾಲ್ ಮಾಡಿ.
- macOS/Linux: curl -fsSL https://ollama.com/install.sh | sh
- Windows: ollama.com ನಿಂದ ಡೌನ್ಲೋಡ್ ಮಾಡಿ
ಮಾಡೆಲ್ ಅನ್ನು ಪುಲ್ (Pull) ಮಾಡಿ. ಚಲಾಯಿಸಿ: ollama pull deepseek-r1:7b
ಮಾಡೆಲ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ. ಚಲಾಯಿಸಿ: ollama run deepseek-r1:7b
ನಿಮ್ಮ ಸ್ಥಳೀಯ ಮಾಡೆಲ್ಗೆ ಸಂಪರ್ಕಿಸಲು ನೀವು VS Code ನಲ್ಲಿ Continue extension ಅನ್ನು ಬಳಸಬಹುದು. ಇದು ಒಂದು ಖಾಸಗಿ ಕೋಡಿಂಗ್ ಅಸಿಸ್ಟೆಂಟ್ ಅನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ.
Ollama ಸ್ಥಳೀಯ API ಅನ್ನು ಸಹ ಒದಗಿಸುತ್ತದೆ. ಈ API ಎಂಬುದು OpenAI ಫಾರ್ಮ್ಯಾಟ್ನಂತೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ನೀವು ಕ್ಲೌಡ್ ಬದಲಿಗೆ ಯಾವುದೇ ಟೂಲ್ ಅನ್ನು ನಿಮ್ಮ ಸ್ಥಳೀಯ ಯಂತ್ರಕ್ಕೆ ಸಂಪರ್ಕಿಸಬಹುದು.
ನೀವು ಯಾವ ಮಾಡೆಲ್ ಅನ್ನು ಆರಿಸಿಕೊಳ್ಳಬೇಕು?
- DeepSeek R1: ಲಾಜಿಕ್ ಮತ್ತು ಡಿಬಗ್ಗೆ ಇದನ್ನು ಬಳಸಿ.
- DeepSeek V3: ಸಾಮಾನ್ಯ ಚಾಟ್ ಮತ್ತು ಬರವಣಿಗೆಗೆ ಇದನ್ನು ಬಳಸಿ.
- DeepSeek Coder: ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಕಾರ್ಯಗಳಿಗಾಗಿ ಇದನ್ನು ಬಳಸಿ.
ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ ಸಲಹೆಗಳು:
- ಮೆಮೊರಿ ಉಳಿಸಲು q4 ಅಥವಾ q5 ನಂತಹ quantized ಮಾಡೆಲ್ಗಳನ್ನು ಬಳಸಿ.
- GPU acceleration ಸಕ್ರಿಯವಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.
- ದೊಡ್ಡ ಮಾಡೆಲ್ಗಳನ್ನು ಚಲಾಯಿಸುವಾಗ ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ ತಾಪಮಾನವನ್ನು ಗಮನಿಸಿ.
ಸೆಟಪ್ ಚೆಕ್ಲಿಸ್ಟ್:
- Ollama ಇನ್ಸ್ಟಾಲ್ ಮಾಡಿ.
- ನೀವು ಆರಿಸಿದ DeepSeek ಮಾಡೆಲ್ ಅನ್ನು ಪುಲ್ ಮಾಡಿ.
- ನಿಮ್ಮ ಟರ್ಮಿನಲ್ನಲ್ಲಿ ಪರೀಕ್ಷಿಸಿ.
- ಅದನ್ನು VS Code ಗೆ ಸಂಪರ್ಕಿಸಿ.
ಸ್ಥಳೀಯ AI ಈಗ ಪ್ರತಿಯೊಬ್ಬ ಡೆವಲಪರ್ಗೂ ಲಭ್ಯವಿದೆ. ಇದು ಗೌಪ್ಯತೆಯನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ಹಣವನ್ನು ಉಳಿಸುತ್ತದೆ.
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi