בנה מוח AI פרטי על הלפטופ שלך
אתה לא צריך מנוי חודשי של 20$ כדי להחזיק AI עוצמתי. אתה יכול לבנות מוח פרטי על החומרה שלך.
בניתי את זה על לפטופ Windows ישן ללא GPU. זה עלה 0$ בתוכנה. הכל קוד פתוח.
ה-AI הפרטי שלך עושה ארבעה דברים:
- רץ מקומית ללא יציאת נתונים מהמחשב שלך.
- מחפש בקבצים שלך כמו PDF והערות.
- עונה על שאלות על בסיס המסמכים שלך.
- עובד דרך בוט Telegram בטלפון שלך.
למערכת יש חמישה שכבות:
- Foundation: Ollama מריץ את המודלים. Docker מריץ את השירותים.
- Memory: Qdrant מאחסן את הנתונים שלך. PostgreSQL עוקב אחריהם.
- Intelligence: RAG מחפש בזיכרון שלך כדי לענות על שאלות.
- Automation: תיקיית watcher לומדת קבצים חדשים באופן אוטומטי.
- Agents: עובדים אוטונומיים שחוקרים וכותבים עבורך.
איך מתחילים:
שלב 1: התקנת Ollama. היכנס ל-ollama.com. הרץ את הפקודות הבאות בטרמינל שלך:
ollama pull llama3.2:3b(מתחיל מהיר)ollama pull mistral:7b(שדרוג חכם יותר)ollama pull nomic-embed-text(עבור הזיכרון)
שלב 2: הגדרת Docker. הורד את Docker Desktop מ-docker.com. השתמש בקובץ docker-compose כדי להריץ את Open WebUI, Qdrant ו-Postgres. זה ייתן לך ממשק צ'אט בכתובת localhost:8080.
שלב 3: בניית הזיכרון. השתמש ב-Python כדי לנתח את הקבצים שלך. כשאתה זורק PDF לתוך תיקייה, המערכת:
- מחלצת את הטקסט.
- מחלקת אותו למקטעים (chunks).
- הופכת טקסט למספרים (embeddings).
- מאחסנת אותו ב-Qdrant.
עכשיו, אתה יכול לשאול: "מה אמור היה בחוזה שלי לגבי תשלומים?" ה-AI מוצא את ההערה הספציפית ועונה.
עצות אמיתיות מתוך הכישלונות שלי:
- משתמשי Windows: אם Docker נתקע, הרץ
wsl --shutdownב-PowerShell. - משתמשי Windows: אל תשתמשו ב-
network_mode: host. השתמשו במיפוי פורטים (port mapping). - מניעת קריסות: אם הסקריפט שלך משתמש באימוג'ים, הוסף
sys.stdout.reconfigure(encoding="utf-8")לקוד שלך. - אמינות: תמיד הוסיפו
connect_timeoutלחיבורי מסד הנתונים שלכם.
בנה את זה בשלבים.
- שבוע 1: הגדרת התשתית והזיכרון.
- שבוע 2: הוספת אוטומציה ו-Telegram.
- שבוע 3: פריסת סוכני מחקר.
המערכת שלך הופכת לחכמה יותר בכל פעם שאתה מוסיף קובץ. היא עובדת בזמן שאתה ישן.
מקור: https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f
קהילת למידה אופציונלית: https://t.me/GyaanSetuAi