Чип OpenAI Jalapeño: як OpenAI скорочує витрати на ШІ на 50%

OpenAI та Broadcom щойно представили Jalapeño. Це спеціалізований чип, створений для одного завдання: запуску великих мовних моделей.

Цей чип може знизити витрати на інференс на 50% порівняно з GPU від Nvidia. Інженерні зразки вже запускають GPT-5.3-Codex-Spark. Масове виробництво розпочнеться наприкінці 2026 року.

OpenAI витрачає близько 14 мільярдів доларів на рік на інференс ChatGPT. Це більше, ніж їхній загальний дохід. Скорочення цих витрат на 50% заощаджуватиме їм 7 мільярдів доларів щороку. Цей крок допоможе OpenAI підготуватися до потенційного IPO у 2026 році.

Як це працює:

Більшість апаратного забезпечення для ШІ використовує GPU. GPU — це універсальні інструменти. Вони виконують графіку, навчання та інференс. Така гнучкість створює додаткові накладні витрати.

Jalapeño — це ASIC. Це означає, що він створений для конкретного завдання. Він зосереджений лише на запуску моделей після того, як вони були навчені. Він керує пам'яттю та мережею ефективніше, ніж універсальний GPU.

Ключові деталі:

• Він використовує технологію TSMC 3nm. • OpenAI розробила архітектуру. • Broadcom відповідала за реалізацію на кремнії. • Microsoft купить 40% першої партії.

OpenAI використала власні моделі ШІ для проєктування цього чипа. ШІ писав код і оптимізував макети. Це створює замкнене коло: ШІ допомагає проєктувати кращі чипи, а кращі чипи забезпечують роботу кращого ШІ.

Що це означає для вас:

Якщо ви використовуєте OpenAI API, ви можете побачити ці зміни протягом 12–18 місяців:

  • Нижчі ціни на API: Зниження витрат OpenAI дозволить встановити дешевші тарифи для розробників.
  • Вища швидкість: Чип оптимізований для моделей-трансформерів, що зменшує затримку (latency).
  • Дешевші підписки: Ціни на ChatGPT Plus можуть знизитися або включати більше функцій.

Варто врахувати ризики:

  • Відсутність незалежних тестів: Більшість даних надає сама OpenAI.
  • Обмежене використання: Цей чип не може навчати моделі. Для навчання вам все одно знадобиться Nvidia.
  • Нова залежність: OpenAI переходить з Nvidia на Broadcom.
  • Майбутні технології: Якщо структура моделей ШІ зміниться, цей чип може втратити свою цінність.

OpenAI — це вже не просто лабораторія ШІ. Тепер це інфраструктурна компанія. Вони контролюють моделі, програмне забезпечення, а тепер і апаратне забезпечення.

Source: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Optional learning community: https://t.me/GyaanSetuAi