Chip Jalapeño da OpenAI: Como a OpenAI reduz os custos de IA em 50%

A OpenAI e a Broadcom acabaram de revelar o Jalapeño. É um chip customizado construído para uma única função: executar grandes modelos de linguagem.

Este chip pode reduzir os custos de inferência em 50% em comparação com as GPUs da Nvidia. Amostras de engenharia já estão executando o GPT-5.3-Codex-Spark. A produção em massa começa no final de 2026.

A OpenAI gasta cerca de US$ 14 bilhões por ano com a inferência do ChatGPT. Isso é mais do que sua receita total. Reduzir esse custo em 50% economiza US$ 7 bilhões todos os anos. Esse movimento ajuda a OpenAI a se preparar para um potencial IPO em 2026.

Como funciona:

A maioria do hardware de IA utiliza GPUs. As GPUs são ferramentas genéricas. Elas realizam tarefas de gráficos, treinamento e inferência. Essa flexibilidade cria um overhead adicional.

O Jalapeño é um ASIC. Isso significa que ele é construído para uma tarefa específica. Ele foca apenas na execução de modelos após serem treinados. Ele gerencia memória e rede de forma mais eficiente do que uma GPU genérica.

Detalhes principais:

• Utiliza a tecnologia de 3nm da TSMC. • A OpenAI projetou a arquitetura. • A Broadcom cuidou da implementação do silício. • A Microsoft comprará 40% do primeiro lote.

A OpenAI usou seus próprios modelos de IA para projetar este chip. A IA escreveu código e otimizou layouts. Isso cria um ciclo: a IA ajuda a projetar chips melhores, e chips melhores executam IAs melhores.

O que isso significa para você:

Se você utiliza a OpenAI API, poderá ver estas mudanças em 12 a 18 meses:

  • Preços de API mais baixos: Custos menores para a OpenAI permitem tarifas mais baratas para desenvolvedores.
  • Maior velocidade: O chip é ajustado para modelos transformer, o que reduz a latência.
  • Assinaturas mais baratas: Os preços do ChatGPT Plus podem cair ou incluir mais recursos.

Existem riscos a considerar:

  • Sem testes independentes: A maioria dos dados vem da própria OpenAI.
  • Uso limitado: Este chip não pode treinar modelos. Você ainda precisará da Nvidia para o treinamento.
  • Nova dependência: A OpenAI está mudando da Nvidia para a Broadcom.
  • Tecnologia futura: Se os modelos de IA mudarem sua estrutura, este chip pode perder valor.

A OpenAI não é mais apenas um laboratório de IA. Agora é uma empresa de infraestrutura. Eles controlam os modelos, o software e, agora, o hardware.

Fonte: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi