OpenAI Jalapeño Chip: Bagaimana OpenAI Memangkas Biaya AI sebesar 50%

OpenAI dan Broadcom baru saja mengungkap Jalapeño. Ini adalah chip khusus yang dibuat untuk satu tugas: menjalankan model bahasa besar (large language models).

Chip ini dapat memangkas biaya inferensi sebesar 50% dibandingkan GPU Nvidia. Sampel rekayasa (engineering samples) sudah menjalankan GPT-5.3-Codex-Spark. Produksi massal akan dimulai pada akhir 2026.

OpenAI menghabiskan sekitar $14 miliar per tahun untuk inferensi ChatGPT. Jumlah ini lebih besar dari total pendapatan mereka. Mengurangi biaya ini sebesar 50% akan menghemat $7 miliar setiap tahunnya. Langkah ini membantu OpenAI bersiap menghadapi potensi IPO pada tahun 2026.

Cara kerjanya:

Sebagian besar perangkat keras AI menggunakan GPU. GPU adalah alat umum. Mereka menangani grafis, pelatihan (training), dan inferensi. Fleksibilitas ini menciptakan beban tambahan (overhead).

Jalapeño adalah sebuah ASIC. Ini berarti chip ini dibuat untuk tugas spesifik. Chip ini hanya fokus pada menjalankan model setelah model tersebut dilatih. Ia menangani memori dan jaringan dengan lebih efisien daripada GPU umum.

Detail utama:

• Menggunakan teknologi TSMC 3nm. • OpenAI merancang arsitekturnya. • Broadcom menangani implementasi silikonnya. • Microsoft akan membeli 40% dari batch pertama.

OpenAI menggunakan model AI miliknya sendiri untuk merancang chip ini. AI tersebut menulis kode dan mengoptimalkan tata letak (layout). Hal ini menciptakan sebuah siklus: AI membantu merancang chip yang lebih baik, dan chip yang lebih baik menjalankan AI yang lebih baik.

Apa artinya bagi Anda:

Jika Anda menggunakan OpenAI API, Anda mungkin akan melihat perubahan ini dalam 12 hingga 18 bulan ke depan:

  • Harga API lebih rendah: Biaya yang lebih rendah bagi OpenAI memungkinkan tarif yang lebih murah bagi pengembang.
  • Kecepatan lebih tinggi: Chip ini disetel untuk model transformer, yang mengurangi latensi.
  • Langganan lebih murah: Harga ChatGPT Plus bisa turun atau menyertakan lebih banyak fitur.

Ada risiko yang perlu dipertimbangkan:

  • Tidak ada pengujian independen: Sebagian besar data berasal dari OpenAI sendiri.
  • Penggunaan terbatas: Chip ini tidak dapat melatih model. Anda tetap membutuhkan Nvidia untuk pelatihan.
  • Ketergantungan baru: OpenAI beralih dari Nvidia ke Broadcom.
  • Teknologi masa depan: Jika model AI mengubah strukturnya, chip ini mungkin kehilangan nilainya.

OpenAI bukan lagi sekadar laboratorium AI. Sekarang, mereka adalah perusahaan infrastruktur. Mereka mengendalikan model, perangkat lunak, dan sekarang perangkat keras.

Sumber: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Komunitas belajar opsional: https://t.me/GyaanSetuAi