Чип OpenAI Jalapeño: как OpenAI сокращает расходы на ИИ на 50%

OpenAI и Broadcom только что представили Jalapeño. Это специализированный чип, созданный для одной задачи: запуска больших языковых моделей.

Этот чип может снизить затраты на инференс на 50% по сравнению с GPU от Nvidia. Инженерные образцы уже запускают GPT-5.3-Codex-Spark. Массовое производство начнется к концу 2026 года.

OpenAI тратит около 14 миллиардов долларов в год на инференс ChatGPT. Это больше, чем их общая выручка. Снижение этих затрат на 50% сэкономит им 7 миллиардов долларов ежегодно. Этот шаг поможет OpenAI подготовиться к потенциальному IPO в 2026 году.

Как это работает:

Большинство аппаратных решений для ИИ используют GPU. GPU — это универсальные инструменты. Они предназначены для графики, обучения и инференса. Такая гибкость создает дополнительные накладные расходы.

Jalapeño — это ASIC. Это означает, что он создан для конкретной задачи. Он фокусируется исключительно на запуске моделей после их обучения. Он управляет памятью и сетевым взаимодействием эффективнее, чем универсальный GPU.

Ключевые детали:

• Использует 3-нм технологию TSMC. • OpenAI разработала архитектуру. • Broadcom взяла на себя реализацию на кремнии. • Microsoft выкупит 40% первой партии.

OpenAI использовала собственные модели ИИ для проектирования этого чипа. ИИ писал код и оптимизировал топологию. Это создает замкнутый цикл: ИИ помогает проектировать лучшие чипы, а лучшие чипы обеспечивают работу более совершенного ИИ.

Что это значит для вас:

Если вы используете OpenAI API, вы можете заметить эти изменения через 12–18 месяцев:

  • Снижение цен на API: уменьшение затрат OpenAI позволит снизить тарифы для разработчиков.
  • Повышение скорости: чип оптимизирован под трансформерные модели, что снижает задержку (latency).
  • Более дешевые подписки: цены на ChatGPT Plus могут снизиться или включать больше функций.

Есть риски, которые стоит учитывать:

  • Отсутствие независимых тестов: большая часть данных поступает от самой OpenAI.
  • Ограниченное использование: этот чип не предназначен для обучения моделей. Для обучения вам по-прежнему понадобится Nvidia.
  • Новая зависимость: OpenAI переходит с Nvidia на Broadcom.
  • Технологии будущего: если структура моделей ИИ изменится, ценность этого чипа может снизиться.

OpenAI — это больше не просто ИИ-лаборатория. Теперь это инфраструктурная компания. Они контролируют модели, программное обеспечение и теперь оборудование.

Источник: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi