तुमच्या लॅपटॉपवर स्वतःचे खाजगी AI ब्रेन तयार करा
शक्तिशाली AI वापरण्यासाठी तुम्हाला दरमहा $20 च्या सबस्क्रिप्शनची गरज नाही. तुम्ही तुमच्या स्वतःच्या हार्डवेअरवर एक खाजगी ब्रेन तयार करू शकता.
मी हे एका जुन्या Windows लॅपटॉपवर तयार केले आहे ज्यामध्ये GPU नाही. यासाठी सॉफ्टवेअरवर $0 खर्च आला. सर्व काही ओपन सोर्स आहे.
तुमचे खाजगी AI चार गोष्टी करते:
- डेटा तुमच्या मशीनच्या बाहेर न जाता स्थानिक पातळीवर (locally) चालते.
- PDF आणि नोट्स सारख्या तुमच्या स्वतःच्या फाईल्स शोधते.
- तुमच्या कागदपत्रांच्या आधारे प्रश्नांची उत्तरे देते.
- तुमच्या फोनवरील Telegram बॉटद्वारे काम करते.
या सिस्टमचे पाच स्तर (layers) आहेत:
- Foundation: Ollama मॉडेल्स चालवते. Docker सर्व्हिसेस चालवते.
- Memory: Qdrant तुमचा डेटा साठवते. PostgreSQL त्याचा मागोवा घेते.
- Intelligence: RAG प्रश्नांची उत्तरे देण्यासाठी तुमची मेमरी शोधते.
- Automation: एक watcher folder आपोआप नवीन फाईल्स शिकते.
- Agents: स्वायत्त कामगार जे तुमच्यासाठी संशोधन आणि लेखन करतात.
सुरुवात कशी करावी:
पायरी १: Ollama इंस्टॉल करा. ollama.com वर जा. तुमच्या टर्मिनलमध्ये या कमांड्स चालवा:
- ollama pull llama3.2:3b (वेगवान सुरुवात)
- ollama pull mistral:7b (स्मार्ट अपग्रेड)
- ollama pull nomic-embed-text (मेमरीसाठी)
पायरी २: Docker सेटअप करा. docker.com वरून Docker Desktop मिळवा. Open WebUI, Qdrant आणि Postgres चालवण्यासाठी docker-compose फाईल वापरा. यामुळे तुम्हाला localhost:8080 वर चॅट इंटरफेस मिळेल.
पायरी ३: मेमरी तयार करा. तुमच्या फाईल्स पार्स (parse) करण्यासाठी Python वापरा. जेव्हा तुम्ही एखाद्या फोल्डरमध्ये PDF टाकता, तेव्हा सिस्टम:
- मजकूर (text) काढते.
- त्याचे तुकडे (chunks) करते.
- मजकुराचे अंकात (embeddings) रूपांतर करते.
- ते Qdrant मध्ये साठवते.
आता, तुम्ही विचारू शकता: "माझ्या करारात (contract) पेमेंटबद्दल काय म्हटले आहे?" AI तो विशिष्ट नोट शोधते आणि उत्तर देते.
माझ्या अपयशातून मिळालेला खरा सल्ला:
- Windows वापरकर्ते: जर Docker हँग होत असेल, तर PowerShell मध्ये
wsl --shutdownचालवा. - Windows वापरकर्ते:
network_mode: hostवापरू नका. पोर्ट मॅपिंग वापरा. - क्रॅश टाळण्यासाठी: जर तुमच्या स्क्रिप्टमध्ये इमोजी वापरले असतील, तर तुमच्या कोडमध्ये
sys.stdout.reconfigure(encoding="utf-8")जोडा. - विश्वासार्हता: तुमच्या डेटाबेस कनेक्शनमध्ये नेहमी
connect_timeoutजोडा.
टप्प्याटप्प्याने तयार करा.
- आठवडा १: Foundation आणि memory सेटअप करा.
- आठवडा २: Automation आणि Telegram जोडा.
- आठवडा ३: Research agents तैनात (deploy) करा.
तुम्ही प्रत्येक वेळी नवीन फाईल जोडाल तशी तुमची सिस्टम अधिक स्मार्ट होत जाते. तुम्ही झोपलेले असतानाही ती काम करते.
स्रोत: https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f
पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi