உங்கள் லேப்டாப்பில் ஒரு தனிப்பட்ட AI மூளையை உருவாக்குங்கள்
ஒரு சக்திவாய்ந்த AI-ஐ வைத்திருக்க உங்களுக்கு மாதம் $20 சந்தா தேவையில்லை. உங்கள் சொந்த வன்பொருளிலேயே (hardware) ஒரு தனிப்பட்ட மூளையை நீங்கள் உருவாக்க முடியும்.
GPU இல்லாத ஒரு பழைய Windows லேப்டாப்பில் நான் இதை உருவாக்கினேன். மென்பொருளுக்கு ஒரு பைசா கூட செலவழிக்கவில்லை ($0). அனைத்தும் திறந்த மூல மென்பொருள்கள் (open source).
உங்கள் தனிப்பட்ட AI நான்கு விஷயங்களைச் செய்கிறது:
- உங்கள் கணினியை விட்டு எந்தத் தரவும் வெளியேறாமல் உள்ளூரிலேயே (locally) இயங்கும்.
- PDF மற்றும் குறிப்புகள் போன்ற உங்கள் சொந்தக் கோப்புகளைத் தேடும்.
- உங்கள் ஆவணங்களின் அடிப்படையில் கேள்விகளுக்குப் பதிலளிக்கும்.
- உங்கள் போனில் உள்ள Telegram bot மூலம் இயங்கும்.
இந்த அமைப்பிற்கு ஐந்து அடுக்குகள் உள்ளன:
- Foundation: Ollama மாடல்களை இயக்குகிறது. Docker சேவைகளை இயக்குகிறது.
- Memory: Qdrant உங்கள் தரவைச் சேமிக்கிறது. PostgreSQL அதைத் கண்காணிக்கிறது.
- Intelligence: RAG உங்கள் நினைவகத்தைத் தேடி கேள்விகளுக்குப் பதிலளிக்கிறது.
- Automation: ஒரு watcher folder புதிய கோப்புகளைத் தானாகவே கற்றுக்கொள்ளும்.
- Agents: உங்களுக்காக ஆராய்ச்சி செய்து எழுதும் தன்னாட்சி பணியாளர்கள் (Autonomous workers).
தொடங்குவது எப்படி:
படி 1: Ollama-வை நிறுவுங்கள். ollama.com இணையதளத்திற்குச் செல்லுங்கள். உங்கள் டெர்மினலில் (terminal) இந்த கட்டளைகளை இயக்கவும்:
ollama pull llama3.2:3b(வேகமான தொடக்கம்)ollama pull mistral:7b(புத்திசாலித்தனமான மேம்பாடு)ollama pull nomic-embed-text(நினைவகத்திற்காக)
படி 2: Docker-ஐ அமைத்தல். docker.com-லிருந்து Docker Desktop-ஐப் பெறுங்கள். Open WebUI, Qdrant மற்றும் Postgres ஆகியவற்றை இயக்க ஒரு docker-compose கோப்பைப் பயன்படுத்துங்கள். இது localhost:8080-இல் உங்களுக்கு ஒரு சாட் இடைமுகத்தை (chat interface) வழங்கும்.
படி 3: நினைவகத்தை உருவாக்குதல். உங்கள் கோப்புகளைப் பகுப்பாய்வு செய்ய Python-ஐப் பயன்படுத்துங்கள். நீங்கள் ஒரு கோப்புறையில் (folder) PDF-ஐப் போட்டவுடன், இந்த அமைப்பு:
- உரையை (text) பிரித்தெடுக்கும்.
- அதைத் துண்டுகளாகப் பிரிக்கும் (chunks).
- உரையை எண்களாக (embeddings) மாற்றும்.
- அதை Qdrant-இல் சேமிக்கும்.
இப்போது, நீங்கள் கேட்கலாம்: "எனது ஒப்பந்தத்தில் பணம் செலுத்துவது பற்றி என்ன சொல்லப்பட்டிருந்தது?" AI அந்த குறிப்பிட்ட குறிப்பைக் கண்டறிந்து பதிலளிக்கும்.
எனது தோல்விகளிலிருந்து உண்மையான ஆலோசனைகள்:
- Windows பயனர்கள்: Docker செயலிழந்தால் (hang), PowerShell-இல்
wsl --shutdownஎன்று இயக்கவும். - Windows பயனர்கள்:
network_mode: host-ஐப் பயன்படுத்த வேண்டாம். Port mapping-ஐப் பயன்படுத்துங்கள். - செயலிழப்பைத் தவிர்க்க: உங்கள் ஸ்கிரிப்ட் எமோஜிகளைப் பயன்படுத்தினால், உங்கள் குறியீட்டில்
sys.stdout.reconfigure(encoding="utf-8")-ஐச் சேர்க்கவும். - நம்பகத்தன்மை: உங்கள் தரவுத்தள இணைப்புகளுக்கு (database connections) எப்போதும்
connect_timeout-ஐச் சேர்க்கவும்.
இதை நிலைகளாக உருவாக்குங்கள்.
- வாரம் 1: Foundation மற்றும் Memory-ஐ அமைத்தல்.
- வாரம் 2: Automation மற்றும் Telegram-ஐச் சேர்த்தல்.
- வாரம் 3: Research agents-களைப் பயன்படுத்துதல்.
நீங்கள் ஒவ்வொரு முறை ஒரு கோப்பைச் சேர்க்கும் போதும் உங்கள் அமைப்பு அதிக புத்திசாலித்தனமாக மாறும். நீங்கள் தூங்கிக் கொண்டிருக்கும் போதும் இது இயங்கும்.
ஆதாரம்: https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f
விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi