اجرای DeepSeek به صورت محلی با Ollama
شما میتوانید مدلهای هوش مصنوعی را در عرض ۱۰ دقیقه روی کامپیوتر خود اجرا کنید. مدلهای DeepSeek این کار را آسان میکنند.
اجرای مدلها به صورت محلی مزایای زیر را دارد:
- حریم خصوصی کامل. دادههای شما روی دستگاه خودتان باقی میماند.
- بدون هزینه. هیچ هزینهای بابت API پرداخت نمیکنید.
- دسترسی آفلاین. نیازی به اینترنت ندارید.
- بدون محدودیت. هر تعداد پرسشی که میخواهید اجرا کنید.
نیازمندیهای مدل:
• مدل 1.5B: 4GB RAM • مدل 7B: 8GB RAM, 6GB GPU VRAM • مدل 14B: 16GB RAM, 10GB GPU VRAM • مدل 33B: 32GB RAM, 20GB GPU VRAM • مدل 67B: 64GB RAM, 40GB GPU VRAM
مدلهای 7B یا 14B برای اکثر لپتاپها بهترین عملکرد را دارند.
نحوه راهاندازی:
- نصب Ollama.
- macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh - Windows: دانلود از ollama.com
دریافت مدل (Pull). اجرا کنید:
ollama pull deepseek-r1:7bشروع به کار مدل. اجرا کنید:
ollama run deepseek-r1:7b
میتوانید از افزونه Continue در VS Code برای اتصال به مدل محلی خود استفاده کنید. این کار یک دستیار برنامهنویسی خصوصی ایجاد میکند.
Ollama همچنین یک API محلی ارائه میدهد. این API مشابه فرمت OpenAI عمل میکند. شما میتوانید هر ابزاری را به جای ابر (Cloud)، به دستگاه محلی خود متصل کنید.
کدام مدل را باید انتخاب کنید؟
- DeepSeek R1: برای منطق و عیبیابی (debugging) از آن استفاده کنید.
- DeepSeek V3: برای چت عمومی و نویسندگی از آن استفاده کنید.
- DeepSeek Coder: برای وظایف برنامهنویسی از آن استفاده کنید.
نکاتی برای عملکرد بهتر:
- برای صرفهجویی در حافظه، از مدلهای کوانتیزه شده (quantized) مانند q4 یا q5 استفاده کنید.
- بررسی کنید که شتابدهنده GPU فعال باشد.
- هنگام اجرای مدلهای بزرگ، دمای سختافزار خود را مانیتور کنید.
چکلیست راهاندازی:
- نصب Ollama.
- دریافت مدل DeepSeek انتخابی خود.
- تست آن در ترمینال.
- اتصال آن به VS Code.
هوش مصنوعی محلی اکنون برای هر توسعهدهندهای قابل دسترس است. این کار حریم خصوصی را فراهم کرده و در هزینهها صرفهجویی میکند.
انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi