Ollama로 DeepSeek 로컬에서 실행하기
10분 만에 자신의 컴퓨터에서 AI 모델을 실행할 수 있습니다. DeepSeek 모델을 사용하면 이 과정이 매우 간단해집니다.
로컬에서 모델을 실행하면 다음과 같은 장점이 있습니다:
- 완전한 개인정보 보호. 데이터가 사용자의 기기에 그대로 머뭅니다.
- 비용 제로. API 비용을 지불할 필요가 없습니다.
- 오프라인 접속. 인터넷 연결이 필요하지 않습니다.
- 제한 없음. 원하는 만큼 얼마든지 쿼리를 실행할 수 있습니다.
모델 요구 사양:
• 1.5B 모델: 4GB RAM • 7B 모델: 8GB RAM, 6GB GPU VRAM • 14B 모델: 16GB RAM, 10GB GPU VRAM • 33B 모델: 32GB RAM, 20GB GPU VRAM • 67B 모델: 64GB RAM, 40GB GPU VRAM
대부분의 노트북에서는 7B 또는 14B 모델이 가장 적합합니다.
설정 방법:
- Ollama 설치하기.
- macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh - Windows: ollama.com에서 다운로드
모델 가져오기(Pull). 실행:
ollama pull deepseek-r1:7b모델 실행하기. 실행:
ollama run deepseek-r1:7b
VS Code에서 Continue 확장을 사용하여 로컬 모델에 연결할 수 있습니다. 이를 통해 프라이빗 코딩 어시스턴트를 구축할 수 있습니다.
Ollama는 로컬 API도 제공합니다. 이 API는 OpenAI 형식과 동일하게 작동합니다. 클라우드 대신 로컬 머신을 모든 도구의 엔드포인트로 지정할 수 있습니다.
어떤 모델을 선택해야 할까요?
- DeepSeek R1: 논리 및 디버깅 작업에 사용하세요.
- DeepSeek V3: 일반적인 채팅 및 글쓰기에 사용하세요.
- DeepSeek Coder: 프로그래밍 작업에 사용하세요.
성능 향상을 위한 팁:
- 메모리 절약을 위해 q4 또는 q5와 같은 양자화(quantized) 모델을 사용하세요.
- GPU 가속이 활성화되어 있는지 확인하세요.
- 대규모 모델을 실행할 때는 하드웨어 온도를 모니터링하세요.
설정 체크리스트:
- Ollama 설치.
- 선택한 DeepSeek 모델 가져오기.
- 터미널에서 테스트하기.
- VS Code에 연결하기.
이제 모든 개발자가 로컬 AI를 사용할 수 있습니다. 개인정보를 보호하면서 비용도 절감할 수 있습니다.
Optional learning community: https://t.me/GyaanSetuAi