自分のノートPCにプライベートなAIブレインを構築する
強力なAIを手に入れるために、月額20ドルのサブスクリプションは必要ありません。自分自身のハードウェア上に、プライベートなブレインを構築することができます。
私はこれを、GPUを搭載していない古いWindowsノートPCで構築しました。ソフトウェア費用は0ドルです。すべてがオープンソースです。
あなたのプライベートAIは、以下の4つのことを行います：
- データをマシンから外に出すことなく、ローカルで実行します。
- PDFやメモなどの自分のファイルを検索します。
- ドキュメントに基づいて質問に回答します。
- スマホのTelegramボット経由で動作します。
システムは5つのレイヤーで構成されています：
- Foundation（基盤）：Ollamaがモデルを実行し、Dockerがサービスを実行します。
- Memory（メモリ）：Qdrantがデータを保存し、PostgreSQLがそれを管理します。
- Intelligence（知能）：RAGがメモリを検索して質問に回答します。
- Automation（自動化）：Watcherフォルダが新しいファイルを自動的に学習します。
- Agents（エージェント）：調査や執筆を代行してくれる自律的なワーカーです。
開始方法：
ステップ1：Ollamaをインストールする。 ollama.com にアクセスしてください。ターミナルで以下のコマンドを実行します：
- ollama pull llama3.2:3b (高速なスターター)
- ollama pull mistral:7b (よりスマートなアップグレード)
- ollama pull nomic-embed-text (メモリ用)
ステップ2：Dockerをセットアップする。 docker.com から Docker Desktop を入手してください。docker-compose ファイルを使用して、Open WebUI、Qdrant、Postgresを実行します。これにより、localhost:8080 でチャットインターフェースが利用可能になります。
ステップ3：メモリを構築する。 Pythonを使用してファイルを解析します。フォルダにPDFをドロップすると、システムは以下の動作を行います：
- テキストを抽出します。
- テキストをチャンク（塊）に分割します。
- テキストを数値（エンベディング）に変換します。
- Qdrantに保存します。
これで、「契約書の支払いに関する記述は何でしたか？」といった質問ができるようになります。AIが特定のメモを見つけ出し、回答します。
私の失敗から得た実用的なアドバイス：
- Windowsユーザーの方へ：Dockerがハングした場合は、PowerShellで wsl --shutdown を実行してください。
- Windowsユーザーの方へ：network_mode: host は使用しないでください。ポートマッピングを使用してください。
- クラッシュを避けるために：スクリプトで絵文字を使用する場合は、コードに sys.stdout.reconfigure(encoding="utf-8") を追加してください。
- 信頼性：データベース接続には、常に connect_timeout を追加してください。
段階的に構築しましょう。
- 第1週：基盤とメモリのセットアップ。
- 第2週：自動化とTelegramの追加。
- 第3週：リサーチエージェントのデプロイ。
ファイルを追加するたびに、システムはより賢くなります。あなたが眠っている間も、システムは働き続けます。
ソース：https://dev.to/theonaiao/build-a-private-ai-brain-on-your-laptop-458f
オプションの学習コミュニティ：https://t.me/GyaanSetuAi