یک مغز هوش مصنوعی خصوصی روی لپتاپ خود بسازید
برای داشتن یک هوش مصنوعی قدرتمند، نیازی به پرداخت اشتراک ماهیانه ۲۰ دلاری ندارید. شما میتوانید یک مغز خصوصی روی سختافزار خودتان بسازید.
من این سیستم را روی یک لپتاپ قدیمی ویندوزی بدون GPU ساختم. هزینه نرمافزاری آن ۰ دلار بود. همه چیز متنباز (open source) است.
هوش مصنوعی خصوصی شما چهار کار انجام میدهد:
- بهصورت محلی اجرا میشود و هیچ دادهای از دستگاه شما خارج نمیشود.
- فایلهای خودتان مانند PDFها و یادداشتها را جستجو میکند.
- بر اساس اسناد شما به سوالات پاسخ میدهد.
- از طریق یک ربات تلگرام در گوشی شما کار میکند.
این سیستم دارای پنج لایه است:
- زیرساخت: Ollama مدلها را اجرا میکند. Docker سرویسها را مدیریت میکند.
- حافظه: Qdrant دادههای شما را ذخیره میکند. PostgreSQL آنها را ردیابی میکند.
- هوشمندی: RAG حافظه شما را برای پاسخ به سوالات جستجو میکند.
- اتوماسیون: یک پوشه نظارتی (watcher folder) فایلهای جدید را بهطور خودکار یاد میگیرد.
- عاملها (Agents): کارگران خودمختاری که برای شما تحقیق و نوشتن میکنند.
نحوه شروع:
مرحله ۱: نصب Ollama. به ollama.com بروید. این دستورات را در ترمینال خود اجرا کنید:
ollama pull llama3.2:3b(شروع سریع)ollama pull mistral:7b(ارتقای هوشمندتر)ollama pull nomic-embed-text(برای حافظه)
مرحله ۲: راهاندازی Docker.
Docker Desktop را از docker.com دریافت کنید. از یک فایل docker-compose برای اجرای Open WebUI، Qdrant و Postgres استفاده کنید. این کار یک رابط چت در localhost:8080 به شما میدهد.
مرحله ۳: ساخت حافظه. از Python برای تجزیه (parse) فایلهای خود استفاده کنید. وقتی یک فایل PDF را در یک پوشه قرار میدهید، سیستم:
- متن را استخراج میکند.
- آن را به تکههای کوچک (chunks) تقسیم میکند.
- متن را به اعداد (embeddings) تبدیل میکند.
- آن را در Qdrant ذخیره میکند.
حالا میتوانید بپرسید: "قرارداد من در مورد پرداختها چه گفته است؟" هوش مصنوعی یادداشت مربوطه را پیدا کرده و پاسخ میدهد.
توصیههای واقعی از تجربههای شکست من:
- کاربران ویندوز: اگر Docker هنگ کرد، دستور
wsl --shutdownرا در PowerShell اجرا کنید. - کاربران ویندوز: از
network_mode: hostاستفاده نکنید. از نگاشت پورت (port mapping) استفاده کنید. - جلوگیری از کرش: اگر اسکریپت شما از ایموجی استفاده میکند، عبارت
sys.stdout.reconfigure(encoding="utf-8")را به کد خود اضافه کنید. - قابلیت اطمینان: همیشه یک
connect_timeoutبه اتصالات پایگاه داده خود اضافه کنید.
آن را مرحلهبهمرحله بسازید.
- هفته اول: راهاندازی زیرساخت و حافظه.
- هفته دوم: افزودن اتوماسیون و تلگرام.
- هفته سوم: استقرار عاملهای تحقیق.
سیستم شما با هر بار اضافه کردن یک فایل، هوشمندتر میشود. در حالی که شما خواب هستید، کار میکند.
منبع: https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f
انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi