Ollama மூலம் DeepSeek-ஐ உள்ளூர் கணினியில் (Locally) இயக்குங்கள்
நீங்கள் 10 நிமிடங்களில் உங்கள் சொந்த கணினியில் AI மாடல்களை இயக்க முடியும். DeepSeek மாடல்கள் இதை எளிதாக்குகின்றன.
மாடல்களை உள்ளூர் கணினியில் இயக்குவதன் மூலம் உங்களுக்குக் கிடைப்பவை:
- முழுமையான தனியுரிமை (Privacy). உங்கள் தரவு உங்கள் கணினியிலேயே இருக்கும்.
- பூஜ்ஜியச் செலவு. நீங்கள் எந்த API கட்டணமும் செலுத்த வேண்டியதில்லை.
- ஆஃப்லைன் அணுகல். உங்களுக்கு இணையம் தேவையில்லை.
- வரம்புகள் இல்லை. நீங்கள் விரும்பிய அளவு வினவல்களை (queries) இயக்கலாம்.
மாடல் தேவைகள்:
• 1.5B மாடல்: 4GB RAM • 7B மாடல்: 8GB RAM, 6GB GPU VRAM • 14B மாடல்: 16GB RAM, 10GB GPU VRAM • 33B மாடல்: 32GB RAM, 20GB GPU VRAM • 67B மாடல்: 64GB RAM, 40GB GPU VRAM
பெரும்பாலான லேப்டாப்களுக்கு 7B அல்லது 14B மாடல்கள் சிறப்பாகச் செயல்படும்.
இதை எவ்வாறு அமைப்பது:
- Ollama-வை நிறுவுங்கள் (Install).
- macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh - Windows: ollama.com இல் இருந்து பதிவிறக்கவும்
மாடலை இழுக்கவும் (Pull). இயக்கவும்:
ollama pull deepseek-r1:7bமாடலைத் தொடங்கவும். இயக்கவும்:
ollama run deepseek-r1:7b
உங்கள் உள்ளூர் மாடலுடன் இணைக்க VS Code-இல் Continue extension-ஐப் பயன்படுத்தலாம். இது ஒரு தனிப்பட்ட கோடிங் உதவியாளரை (private coding assistant) உருவாக்கும்.
Ollama ஒரு உள்ளூர் API-யையும் வழங்குகிறது. இந்த API, OpenAI வடிவமைப்பைப் போலவே செயல்படும். நீங்கள் எந்தவொரு கருவியையும் (tool) கிளவுடிற்குப் பதிலாக உங்கள் உள்ளூர் கணினியிலேயே இணைக்க முடியும்.
நீங்கள் எந்த மாடலைத் தேர்ந்தெடுக்க வேண்டும்?
- DeepSeek R1: தர்க்கம் (logic) மற்றும் பிழைத்திருத்தத்திற்கு (debugging) இதைப் பயன்படுத்தவும்.
- DeepSeek V3: பொதுவான உரையாடல் மற்றும் எழுதுவதற்கு இதைப் பயன்படுத்தவும்.
- DeepSeek Coder: புரோகிராமிங் பணிகளுக்கு இதைப் பயன்படுத்தவும்.
சிறந்த செயல்திறனுக்கான குறிப்புகள்:
- நினைவகத்தைச் (memory) சேமிக்க q4 அல்லது q5 போன்ற quantized மாடல்களைப் பயன்படுத்தவும்.
- GPU acceleration செயல்பாட்டில் உள்ளதா என்பதைச் சரிபார்க்கவும்.
- பெரிய மாடல்களை இயக்கும்போது உங்கள் வன்பொருளின் (hardware) வெப்பநிலையைக் கண்காணிக்கவும்.
அமைப்பதற்கான சரிபார்ப்புப் பட்டியல் (Setup Checklist):
- Ollama-வை நிறுவுங்கள்.
- நீங்கள் தேர்ந்தெடுத்த DeepSeek மாடலை இழுக்கவும் (Pull).
- உங்கள் டெர்மினலில் (terminal) அதைச் சோதிக்கவும்.
- அதை VS Code-உடன் இணைக்கவும்.
உள்ளூர் AI இப்போது ஒவ்வொரு டெவலப்பருக்கும் எளிதில் கிடைக்கிறது. இது தனியுரிமையை வழங்குகிறது மற்றும் பணத்தைச் சேமிக்கிறது.
விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi