Google 的 Gemma 语言模型经过裁剪，参数量仅为 2890 万，现在可以在售价约 8 美元的 ESP32-S3 微控制器上运行。一位独立开发者构建了这一概念验证，证明了功能齐全的 LLM 可以运行在廉价硬件上，甚至可以隐藏在任何 IoT 设备中。

实现原理

正如源码所解释的，Gemma 的压缩工具对模型的权重和执行图进行压缩，直到它们能够装入 ESP32 的 RAM 和有限的闪存中。这款芯片是低成本传感器和可穿戴设备的常用选择，它完全在离线状态下执行模型——无需连接云端。

为什么这会引发 IoT 安全警报

  • 离线推理将数据保留在设备上，虽然抹除了服务器端的日志，但也消除了防御者的监控点。
  • 廉价且无处不在的硬件让攻击者能够将复杂的 AI 嵌入到那些能完美融入普通消费级或工业环境的小型设备中。
  • 补丁与更新疲劳 —— ESP32 设备运行的固件往往很少更新，这使得一个存在漏洞的 AI 模块变成了一场管理上的噩梦。

潜在优势与权衡

在边缘侧运行 AI 可以保护用户隐私，因为原始传感器数据永远不会传输到服务器。然而，这种隐私保护屏障也可能被滥用。

防御者的下一步行动

在 8 美元的芯片上运行 2800 万参数 LLM 的能力，将曾经仅限于云端的性能转变为一种隐蔽且无处不在的威胁。组织必须将边缘 AI 视为安全前沿，而不仅仅是一种便利工具。