Bina Otak AI Peribadi pada Laptop Anda

Bina Otak AI Peribadi pada Laptop Anda

Anda tidak memerlukan langganan bulanan sebanyak $20 untuk memiliki AI yang berkuasa. Anda boleh membina otak peribadi pada perkakasan anda sendiri.

Saya membina ini pada sebuah laptop Windows lama tanpa GPU. Ia tidak menelan kos perisian langsung ($0). Semuanya adalah sumber terbuka.

AI peribadi anda melakukan empat perkara:

• Berjalan secara tempatan tanpa sebarang data keluar dari mesin anda.
• Mencari fail anda sendiri seperti PDF dan nota.
• Menjawab soalan berdasarkan dokumen anda.
• Berfungsi melalui bot Telegram pada telefon anda.

Sistem ini mempunyai lima lapisan:

1. Asas: Ollama menjalankan model. Docker menjalankan perkhidmatan.
2. Memori: Qdrant menyimpan data anda. PostgreSQL menjejaknya.
3. Kecerdasan: RAG mencari memori anda untuk menjawab soalan.
4. Automasi: Folder pemerhati (watcher folder) mempelajari fail baharu secara automatik.
5. Ejen: Pekerja autonomi yang melakukan penyelidikan dan menulis untuk anda.

Cara untuk bermula:

Langkah 1: Pasang Ollama. Pergi ke ollama.com. Jalankan arahan ini dalam terminal anda:

• ollama pull llama3.2:3b (untuk permulaan pantas)
• ollama pull mistral:7b (naiktaraf lebih pintar)
• ollama pull nomic-embed-text (untuk memori)

Langkah 2: Sediakan Docker. Dapatkan Docker Desktop dari docker.com. Gunakan fail docker-compose untuk menjalankan Open WebUI, Qdrant, dan Postgres. Ini akan memberikan anda antara muka sembang pada localhost:8080.

Langkah 3: Bina memori. Gunakan Python untuk mencerakin fail anda. Apabila anda memasukkan PDF ke dalam folder, sistem akan:

• Mengekstrak teks.
• Membahagikannya kepada cebisan (chunks).
• Menukar teks kepada nombor (embeddings).
• Menyimpannya dalam Qdrant.

Kini, anda boleh bertanya: "Apakah yang dinyatakan dalam kontrak saya tentang pembayaran?" AI akan mencari nota khusus tersebut dan menjawabnya.

Nasihat sebenar daripada kegagalan saya:

• Pengguna Windows: Jika Docker tergantung, jalankan wsl --shutdown dalam PowerShell.
• Pengguna Windows: Jangan gunakan network_mode: host. Gunakan pemetaan port (port mapping).
• Elakkan kegagalan sistem (crash): Jika skrip anda menggunakan emoji, tambahkan sys.stdout.reconfigure(encoding="utf-8") ke dalam kod anda.
• Kebolehpercayaan: Sentiasa tambahkan connect_timeout pada sambungan pangkalan data anda.

Bina secara berperingkat.

• Minggu 1: Sediakan asas dan memori.
• Minggu 2: Tambah automasi dan Telegram.
• Minggu 3: Lancarkan ejen penyelidikan.

Sistem anda menjadi lebih pintar setiap kali anda menambah fail. Ia bekerja semasa anda tidur.

Sumber: https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi