Створіть приватний ШІ-мозок на своєму ноутбуці

𝗕𝘂𝗶𝗹𝗱 𝗮 𝗣𝗿𝗶𝘃𝗮𝘁𝗲 𝗔𝗜 𝗕𝗿𝗮𝗶𝗻 𝗼𝗻 𝗬𝗼𝘂𝗿 𝗟𝗮𝗽𝘁𝗼𝗽

Вам не потрібна щомісячна підписка за $20, щоб мати потужний ШІ. Ви можете створити приватний мозок на власному обладнанні.

Я створив це на старому ноутбуці з Windows без GPU. Програмне забезпечення коштувало $0. Усе є з відкритим вихідним кодом.

Ваш приватний ШІ виконує чотири завдання:

• Працює локально, дані не покидають ваш пристрій.
• Шукає у ваших власних файлах, таких як PDF та нотатки.
• Відповідає на запитання на основі ваших документів.
• Працює через Telegram-бота на вашому телефоні.

Система має п'ять рівнів:

1. Foundation: Ollama запускає моделі. Docker запускає сервіси.
2. Memory: Qdrant зберігає ваші дані. PostgreSQL відстежує їх.
3. Intelligence: RAG шукає у вашій пам'яті, щоб відповісти на запитання.
4. Automation: Папка-спостерігач (watcher folder) автоматично вивчає нові файли.
5. Agents: Автономні працівники, які проводять дослідження та пишуть тексти за вас.

Як почати:

Крок 1: Встановіть Ollama. Перейдіть на ollama.com. Виконайте ці команди у вашому терміналі:

• ollama pull llama3.2:3b (швидкий старт)
• ollama pull mistral:7b (розумніше оновлення)
• ollama pull nomic-embed-text (для пам'яті)

Крок 2: Налаштуйте Docker. Завантажте Docker Desktop з docker.com. Використовуйте файл docker-compose для запуску Open WebUI, Qdrant та Postgres. Це надасть вам інтерфейс чату на localhost:8080.

Крок 3: Побудуйте пам'ять. Використовуйте Python для парсингу ваших файлів. Коли ви кидаєте PDF у папку, система:

• Витягує текст.
• Розбиває його на фрагменти (chunks).
• Перетворює текст у числа (embeddings).
• Зберігає його в Qdrant.

Тепер ви можете запитати: "Що в моєму контракті було сказано про платежі?" ШІ знаходить потрібну нотатку і відповідає.

Реальні поради з моїх помилок:

• Користувачам Windows: якщо Docker зависає, виконайте wsl --shutdown у PowerShell.
• Користувачам Windows: не використовуйте network_mode: host. Використовуйте мапінг портів (port mapping).
• Уникайте збоїв: якщо ваш скрипт використовує емодзі, додайте sys.stdout.reconfigure(encoding="utf-8") у свій код.
• Надійність: завжди додавайте connect_timeout до підключень до бази даних.

Будуйте поетапно.

• Тиждень 1: Налаштуйте основу (foundation) та пам'ять (memory).
• Тиждень 2: Додайте автоматизацію та Telegram.
• Тиждень 3: Розгорніть агентів-дослідників.

Ваша система стає розумнішою щоразу, коли ви додаєте файл. Вона працює, поки ви спите.

Джерело: https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f

Додаткова спільнота для навчання: https://t.me/GyaanSetuAi