使用 Jetson Orin Nano 和 Ollama 自托管 AI
云端 AI 服务器非常昂贵。
将云服务连接到本地代理会产生摩擦。我在构建自己的应用 Govend 和 Flippy 时遇到了这个问题。
我想使用 Ollama 来驱动聊天界面和抽认卡生成。我不想为云服务器支付月费。我想要一个本地解决方案。
我选择了 Nvidia Jetson Orin Nano。它能高效地处理小型 AI 模型。这是一次性成本，而不是持续性的账单。
设置过程并不容易。我吸取了几个深刻的教训：
• 避免使用 SD 卡。改用 NVMe 硬盘。 • 注意显示器的定时设置。我的屏幕在启动过程中进入了睡眠状态。由于显示器休眠太快，我错过了关键的输入提示。 • 为硬件磨合做好准备。我必须完美同步电源按钮和 Nano 的启动，才能获得信号。
一旦硬件运行起来，真正的挑战才刚刚开始。我不再使用 Heroku 和 Render 等服务。我构建了一个中央服务器枢纽来本地托管我的应用程序。
这一转变让我了解了安全性。使用 AI 会引入新的风险。我必须学习如何保护我的设置。
为了保障枢纽的安全，我实施了以下措施：
- 速率限制以防止滥用。
- 渐进式账户锁定。
- 安全响应头和严格的内容安全策略 (CSP)。
- 服务器防火墙以关闭未使用的端口。
- 用于负责任披露的 security.txt 文件。
我使用 Claude Code 来帮助构建我的服务器枢纽页面。它帮我在公开之前识别出了漏洞。
构建这种本地 AI 基础设施是一次巨大的学习体验。它让我的开发流程从依赖外部云端转变为拥有自己的完整技术栈。
在这里查看我的新枢纽：annavillarreal.com
来源：https://dev.to/annavi11arrea1/self-hosting-experience-with-jetson-orin-nano-and-ollama-5a9c
可选学习社区：https://t.me/GyaanSetuAi