നിങ്ങളുടെ ലാപ്ടോപ്പിൽ ഒരു സ്വകാര്യ AI ബ്രെയിൻ നിർമ്മിക്കാം
ഒരു ശക്തമായ AI സ്വന്തമാക്കാൻ നിങ്ങൾക്ക് പ്രതിമാസം $20 സബ്സ്ക്രിപ്ഷൻ ആവശ്യമില്ല. നിങ്ങളുടെ സ്വന്തം ഹാർഡ്വെയറിൽ ഒരു സ്വകാര്യ ബ്രെയിൻ നിങ്ങൾക്ക് നിർമ്മിക്കാനാകും.
GPU ഇല്ലാത്ത ഒരു പഴയ വിൻഡോസ് ലാപ്ടോപ്പിലാണ് ഞാൻ ഇത് നിർമ്മിച്ചത്. ഇതിന് സോഫ്റ്റ്വെയർക്കായി ഒരു രൂപ പോലും ചിലവായില്ല. എല്ലാം ഓപ്പൺ സോഴ്സ് ആണ്.
നിങ്ങളുടെ സ്വകാര്യ AI നാല് കാര്യങ്ങൾ ചെയ്യുന്നു:
- ഡാറ്റ നിങ്ങളുടെ മെഷീനിൽ നിന്ന് പുറത്തുപോകാതെ ലോക്കലായി പ്രവർത്തിക്കുന്നു.
- PDF-കളും കുറിപ്പുകളും പോലുള്ള നിങ്ങളുടെ സ്വന്തം ഫയലുകൾ തിരയുന്നു.
- നിങ്ങളുടെ ഡോക്യുമെന്റുകളെ അടിസ്ഥാനമാക്കി ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുന്നു.
- നിങ്ങളുടെ ഫോണിലെ ഒരു ടെലിഗ്രാം ബോട്ട് വഴി പ്രവർത്തിക്കുന്നു.
ഈ സിസ്റ്റത്തിന് അഞ്ച് ലെയറുകളുണ്ട്:
- Foundation: Ollama മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നു. Docker സർവീസുകൾ പ്രവർത്തിപ്പിക്കുന്നു.
- Memory: Qdrant നിങ്ങളുടെ ഡാറ്റ സംഭരിക്കുന്നു. PostgreSQL അത് ട്രാക്ക് ചെയ്യുന്നു.
- Intelligence: ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാൻ RAG നിങ്ങളുടെ മെമ്മറി തിരയുന്നു.
- Automation: ഒരു വാച്ചർ ഫോൾഡർ (watcher folder) പുതിയ ഫയലുകൾ സ്വയമേവ പഠിച്ചെടുക്കുന്നു.
- Agents: നിങ്ങൾക്കായി ഗവേഷണം നടത്താനും എഴുതാനും കഴിയുന്ന സ്വയംഭരണാധികാരമുള്ള (autonomous) തൊഴിലാളികൾ.
എങ്ങനെ തുടങ്ങാം:
സ്റ്റെപ്പ് 1: Ollama ഇൻസ്റ്റാൾ ചെയ്യുക. ollama.com സന്ദർശിക്കുക. നിങ്ങളുടെ ടെർമിനലിൽ ഈ കമാൻഡുകൾ പ്രവർത്തിപ്പിക്കുക:
ollama pull llama3.2:3b(വേഗത്തിലുള്ള തുടക്കം)ollama pull mistral:7b(കൂടുതൽ ബുദ്ധിയുള്ള അപ്ഗ്രേഡ്)ollama pull nomic-embed-text(മെമ്മറിക്ക് വേണ്ടി)
സ്റ്റെപ്പ് 2: Docker സെറ്റപ്പ് ചെയ്യുക. docker.com-ൽ നിന്ന് Docker Desktop ഡൗൺലോഡ് ചെയ്യുക. Open WebUI, Qdrant, കൂടാതെ Postgres എന്നിവ പ്രവർത്തിപ്പിക്കാൻ ഒരു docker-compose ഫയൽ ഉപയോഗിക്കുക. ഇത് localhost:8080-ൽ നിങ്ങൾക്ക് ഒരു ചാറ്റ് ഇന്റർഫേസ് നൽകുന്നു.
സ്റ്റെപ്പ് 3: മെമ്മറി നിർമ്മിക്കുക. ഫയലുകൾ പാഴ്സ് (parse) ചെയ്യാൻ Python ഉപയോഗിക്കുക. ഒരു PDF ഫോൾഡറിലേക്ക് ഇടുമ്പോൾ, സിസ്റ്റം ഇവ ചെയ്യുന്നു:
- ടെക്സ്റ്റ് വേർതിരിച്ചെടുക്കുന്നു.
- അതിനെ ചെറിയ ഭാഗങ്ങളായി (chunks) തിരിക്കുന്നു.
- ടെക്സ്റ്റിനെ സംഖ്യകളാക്കി (embeddings) മാറ്റുന്നു.
- അത് Qdrant-ൽ സംഭരിക്കുന്നു.
ഇപ്പോൾ നിങ്ങൾക്ക് ചോദിക്കാം: "എന്റെ കരാറിൽ പേയ്മെന്റുകളെക്കുറിച്ച് എന്താണ് പറഞ്ഞിരിക്കുന്നത്?" AI ആ പ്രത്യേക കുറിപ്പ് കണ്ടെത്തി ഉത്തരം നൽകും.
എന്റെ പരാജയങ്ങളിൽ നിന്നുള്ള യഥാർത്ഥ ഉപദേശങ്ങൾ:
- വിൻഡോസ് ഉപയോക്താക്കൾ: Docker ഹാങ്ങ് ആയാൽ, PowerShell-ൽ
wsl --shutdownപ്രവർത്തിപ്പിക്കുക. - വിൻഡോസ് ഉപയോക്താക്കൾ:
network_mode: hostഉപയോഗിക്കരുത്. പോർട്ട് മാപ്പിംഗ് (port mapping) ഉപയോഗിക്കുക. - ക്രാഷുകൾ ഒഴിവാക്കാൻ: നിങ്ങളുടെ സ്ക്രിപ്റ്റിൽ ഇമോജികൾ ഉണ്ടെങ്കിൽ, കോഡിൽ
sys.stdout.reconfigure(encoding="utf-8")ചേർക്കുക. - വിശ്വാസ്യത: ഡാറ്റാബേസ് കണക്ഷനുകളിൽ എപ്പോഴും ഒരു
connect_timeoutചേർക്കുക.
ഘട്ടം ഘട്ടമായി നിർമ്മിക്കുക.
- ആഴ്ച 1: ഫൗണ്ടേഷനും മെമ്മറിയും സെറ്റപ്പ് ചെയ്യുക.
- ആഴ്ച 2: ഓട്ടോമേഷനും ടെലിഗ്രാമും ചേർക്കുക.
- ആഴ്ച 3: റിസർച്ച് ഏജന്റുകളെ വിന്യസിക്കുക (deploy).
ഓരോ തവണ നിങ്ങൾ ഒരു ഫയൽ ചേർക്കുമ്പോഴും നിങ്ങളുടെ സിസ്റ്റം കൂടുതൽ ബുദ്ധിമാനാകുന്നു. നിങ്ങൾ ഉറങ്ങുമ്പോൾ പോലും ഇത് പ്രവർത്തിക്കുന്നു.
Source: https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f
Optional learning community: https://t.me/GyaanSetuAi