OpenAI Jalapeño 芯片：OpenAI 如何将 AI 成本削减 50%

OpenAI 和 Broadcom 刚刚揭晓了 Jalapeño。这是一款专为单一任务打造的定制芯片：运行大语言模型。

与 Nvidia GPU 相比，该芯片可将推理成本降低 50%。工程样品已经在运行 GPT-5.3-Codex-Spark。量产将于 2026 年底开始。

OpenAI 每年在 ChatGPT 推理上的支出约为 140 亿美元。这甚至超过了他们的总营收。将这一成本降低 50% 每年可为他们节省 70 亿美元。此举有助于 OpenAI 为可能在 2026 年进行的 IPO 做准备。

工作原理：

大多数 AI 硬件使用 GPU。GPU 是通用工具，可以处理图形、训练和推理。这种灵活性会产生额外的开销。

Jalapeño 是一款 ASIC。这意味着它是为特定任务而构建的。它仅专注于模型训练后的运行阶段。它处理内存和网络的方式比通用 GPU 更高效。

关键细节：

• 它采用 TSMC 3nm 技术。 • OpenAI 设计了架构。 • Broadcom 负责硅片实现。 • Microsoft 将购买首批产品的 40%。

OpenAI 使用其自身的 AI 模型来设计这款芯片。AI 编写代码并优化布局。这形成了一个闭环：AI 帮助设计更好的芯片，而更好的芯片则能运行更好的 AI。

这对你意味着什么：

如果你使用 OpenAI API，可能会在 12 到 18 个月内看到以下变化：

  • 更低的 API 价格：OpenAI 成本的降低可以让开发者享受更低廉的费率。
  • 更快的速度：该芯片针对 transformer 模型进行了优化，从而降低了延迟。
  • 更便宜的订阅：ChatGPT Plus 的价格可能会下降，或者包含更多功能。

需要考虑的风险：

  • 缺乏独立测试：大部分数据来自 OpenAI 自身。
  • 用途有限：这款芯片无法训练模型。训练仍需依赖 Nvidia。
  • 新的依赖：OpenAI 正在从 Nvidia 转向 Broadcom。
  • 未来技术风险：如果 AI 模型的结构发生变化，这款芯片可能会贬值。

OpenAI 不再仅仅是一家 AI 实验室。它现在是一家基础设施公司。他们控制着模型、软件，以及现在的硬件。

来源：https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

可选学习社区：https://t.me/GyaanSetuAi