在 Mac Mini 上运行本地编程智能体
我使用本地编程智能体来处理低风险任务。它负责文件编辑、测试修复和构建验证。它还能编写 Playwright 测试、进行代码审查并运行部署。
该配置运行在配备 24 GB 内存的 Mac Mini M4 上。我不会在编程工作中调用云端 API。我仅使用廉价的云端模型进行规划和路由。一个名为 Pi 的编程智能体负责实际的文件编辑。它连接到 oMLX，这是一个本地 LLM 服务器。
该配置适用于任何使用兼容 OpenAI API 的智能体。你可以使用 Claude Code 或 Codex 连接到同一个 oMLX 服务器。
我使用两个模型，并根据任务进行切换。24 GB 内存的限制使我无法同时运行这两个模型。
- 主编程模型：9B 级别，速度为 20 tokens/s。
- 快速模型：4B 级别，速度为 27 tokens/s，用于快速修复。
一个切换脚本负责移出一个模型并载入另一个。这个过程耗时 5 秒。
该智能体执行以下任务：
- 文件编辑与重构
- 编写与修复测试
- 构建验证
- 代码审查
- 文档更新
- 运行部署
对于任何比单行代码更复杂的操作，我都会使用 RPC 模式。编排层编写提示词，然后由 Pi 执行。
我使用以下工具来提高性能：
- pix-optimizer：压缩 token 并移除冗余代码。
- context-mode：路由工作区任务并管理工具调用。
- pi-subagents：并行运行任务。
- pi-workflow-engine：处理多步任务序列。
- pi-mcp-adapter：通过 MCP 连接外部工具。
此配置的重要规则：
- 每次仅加载一个模型，以避免内存错误。
- 禁用思考模式（thinking mode）以保持速度。
- 不要将完整的对话历史发送到提示词中，否则模型会崩溃。
- 对于复杂任务使用 RPC 模式以跳过安全控制。
- 如果模型切换后第一次请求超时，请重试。
Setup script: curl -fsSL https://workswithagents.dev/static/setup-local-llm-pi.sh | sh
Source: https://dev.to/vystartasv/running-a-local-coding-agent-on-a-mac-mini-the-actual-setup-47bo
Optional learning community: https://t.me/GyaanSetuAi