本地 AI：如何运行开源模型

你在终端输入一个问题。按下回车。答案流式输出。你的 Wi-Fi 是关闭的。不需要 API 密钥。没有计费器在跳动。模型运行在你现有的硬件上。

运行本地 AI 曾经很难。现在却变得很简单。一台中端笔记本电脑就能运行几年前处于顶尖水平的模型。

对于隐私、成本和离线使用而言，本地 AI 是明智之选。

本地 AI 的金科玉律： 内存就是一切。无论你使用的是 GPU 的显存（VRAM）还是 Mac 的统一内存，你的模型都必须装进高速内存中才能运行良好。

快速入门指南：

  • 安装 Ollama 或 LM Studio。
  • 下载一个 7B 或 8B 模型。
  • 使用 Q4_K_M 量化。
  • 十分钟内，你就能跑起本地 AI。

你需要了解的核心术语：

• 参数 (Parameters)：模型的规模。一个 7B 模型拥有 70 亿个参数。参数越多通常意味着越聪明，但占用的内存也越多。 • 量化 (Quantization)：用于缩小模型体积。它通过牺牲极小部分的质量来换取大幅减小的文件体积。Q4_K_M 是最佳平衡点。 • Token：模型读取文本的方式。可以将其理解为单词的碎片。 • 上下文窗口 (Context Window)：模型一次能记住多少文本。 • 推理 (Inference)：运行模型以获取答案的过程。

如何选择工具：

  • Ollama：开发者首选。它作为后台服务运行。如果你想要一个简单的 API，请使用它。
  • LM Studio：初学者首选。它拥有简洁的界面。如果你想要可视化体验，请使用它。
  • llama.cpp：专家首选。它提供了对每个设置的完全控制权。

硬件策略：

  • Apple Silicon Mac：由于统一内存的设计，它们表现出色。一台 64GB 的 Mac 可以运行非常大的模型。
  • NVIDIA GPU：行业标准。为了获得最佳的软件支持和速度，请使用它们。
  • 低端笔记本电脑：使用像 Phi-4-mini 或 Llama 3.2 3B 这样的小型模型。

内存计算捷径： 在 Q4 量化下，每十亿个参数大约占用 0.7GB 内存。请务必为系统开销和上下文预留额外的 2GB 空间。

不要事事都依赖云端。掌控你的数据和你的算力。

来源：https://dev.to/harshdeepsingh13/local-ai-how-to-run-open-source-ai-models-locally-4pi2

可选学习社区：https://t.me/GyaanSetuAi