మీ ల్యాప్టాప్పై ఒక ప్రైవేట్ AI మెదడును నిర్మించండి
శక్తివంతమైన AIని కలిగి ఉండటానికి మీకు నెలకు $20 సబ్స్క్రిప్షన్ అవసరం లేదు. మీ స్వంత హార్డ్వేర్పైనే మీరు ఒక ప్రైవేట్ మెదడును నిర్మించుకోవచ్చు.
నేను దీనిని GPU లేని పాత Windows ల్యాప్టాప్పై నిర్మించాను. దీనికి సాఫ్ట్వేర్ కోసం ఒక్క రూపాయి కూడా ఖర్చు కాలేదు ($0). అంతా ఓపెన్ సోర్స్.
మీ ప్రైవేట్ AI నాలుగు పనులు చేస్తుంది:
- మీ మెషీన్ నుండి డేటా బయటకు వెళ్లకుండా లోకల్గా రన్ అవుతుంది.
- PDFలు మరియు నోట్స్ వంటి మీ స్వంత ఫైల్లను వెతుకుతుంది.
- మీ డాక్యుమెంట్ల ఆధారంగా ప్రశ్నలకు సమాధానాలు ఇస్తుంది.
- మీ ఫోన్లోని Telegram బాట్ ద్వారా పనిచేస్తుంది.
ఈ సిస్టమ్లో ఐదు పొరలు (layers) ఉన్నాయి:
- Foundation: Ollama మోడల్స్ను రన్ చేస్తుంది. Docker సర్వీసులను రన్ చేస్తుంది.
- Memory: Qdrant మీ డేటాను నిల్వ చేస్తుంది. PostgreSQL దానిని ట్రాక్ చేస్తుంది.
- Intelligence: ప్రశ్నలకు సమాధానం ఇవ్వడానికి RAG మీ మెమరీని వెతుకుతుంది.
- Automation: ఒక watcher folder కొత్త ఫైల్లను ఆటోమేటిక్గా గుర్తిస్తుంది.
- Agents: మీ కోసం పరిశోధన చేసి రాసే స్వయంప్రతిపత్తి కలిగిన వర్కర్లు.
ఎలా ప్రారంభించాలి:
స్టెప్ 1: Ollama ఇన్స్టాల్ చేయండి. ollama.com కి వెళ్లండి. మీ టెర్మినల్లో ఈ కమాండ్లను రన్ చేయండి:
ollama pull llama3.2:3b(వేగవంతమైన స్టార్టర్)ollama pull mistral:7b(స్మార్ట్ అప్గ్రేడ్)ollama pull nomic-embed-text(మెమరీ కోసం)
స్టెప్ 2: Docker సెటప్ చేయండి. docker.com నుండి Docker Desktop పొందండి. Open WebUI, Qdrant, మరియు Postgresలను రన్ చేయడానికి ఒక docker-compose ఫైల్ను ఉపయోగించండి. ఇది localhost:8080లో మీకు చాట్ ఇంటర్ఫేస్ను అందిస్తుంది.
స్టెప్ 3: మెమరీని నిర్మించండి. మీ ఫైల్లను పార్స్ (parse) చేయడానికి Python ఉపయోగించండి. మీరు ఒక ఫోల్డర్లో PDFని వేసినప్పుడు, సిస్టమ్:
- టెక్స్ట్ను సంగ్రహిస్తుంది (Extracts).
- దానిని చిన్న భాగాలుగా (chunks) విభజిస్తుంది.
- టెక్స్ట్ను నంబర్లుగా (embeddings) మారుస్తుంది.
- దానిని Qdrantలో నిల్వ చేస్తుంది.
ఇప్పుడు, మీరు ఇలా అడగవచ్చు: "నా కాంట్రాక్ట్లో పేమెంట్స్ గురించి ఏమి ఉంది?" AI ఆ నిర్దిష్ట నోట్ను వెతికి సమాధానం ఇస్తుంది.
నా వైఫల్యాల నుండి నిజమైన సలహాలు:
- Windows వినియోగదారులు: ఒకవేళ Docker హ్యాంగ్ అయితే, PowerShellలో
wsl --shutdownరన్ చేయండి. - Windows వినియోగదారులు:
network_mode: hostఉపయోగించకండి. పోర్ట్ మ్యాపింగ్ (port mapping) ఉపయోగించండి. - క్రాష్లను నివారించడానికి: మీ స్క్రిప్ట్ ఎమోజీలను ఉపయోగిస్తుంటే, మీ కోడ్లో
sys.stdout.reconfigure(encoding="utf-8")జోడించండి. - విశ్వసనీయత (Reliability): మీ డేటాబేస్ కనెక్షన్లకు ఎల్లప్పుడూ
connect_timeoutను జోడించండి.
దీనిని దశలవారీగా నిర్మించండి.
- వారం 1: ఫౌండేషన్ మరియు మెమరీని సెటప్ చేయండి.
- వారం 2: ఆటోమేషన్ మరియు Telegram జోడించండి.
- వారం 3: రీసెర్చ్ ఏజెంట్లను (research agents) మోహరించండి.
మీరు ప్రతిసారి ఒక ఫైల్ను జోడించినప్పుడల్లా మీ సిస్టమ్ మరింత తెలివిగా మారుతుంది. మీరు నిద్రపోతున్నప్పుడు కూడా ఇది పనిచేస్తుంది.
Source: https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f
Optional learning community: https://t.me/GyaanSetuAi