OpenAI Jalapeño Chip: Bagaimana OpenAI Mengurangkan Kos AI Sebanyak 50%

OpenAI dan Broadcom baru sahaja mendedahkan Jalapeño. Ia merupakan cip tersuai yang dibina untuk satu tugas sahaja: menjalankan model bahasa besar.

Cip ini boleh mengurangkan kos inferens sebanyak 50% berbanding GPU Nvidia. Sampel kejuruteraan sudah pun menjalankan GPT-5.3-Codex-Spark. Pengeluaran besar-besaran bermula menjelang akhir tahun 2026.

OpenAI membelanjakan kira-kira $14 bilion setahun untuk inferens ChatGPT. Ini adalah lebih daripada jumlah keseluruhan hasil pendapatan mereka. Mengurangkan kos ini sebanyak 50% menjimatkan mereka $7 bilion setiap tahun. Langkah ini membantu OpenAI bersedia untuk potensi IPO pada tahun 2026.

Cara ia berfungsi:

Kebanyakan perkakasan AI menggunakan GPU. GPU adalah alatan umum. Ia melakukan tugasan grafik, latihan, dan inferens. Fleksibiliti ini mewujudkan beban tambahan.

Jalapeño adalah sebuah ASIC. Ini bermakna ia dibina untuk tugas yang khusus. Ia hanya fokus pada menjalankan model selepas ia dilatih. Ia mengendalikan memori dan rangkaian dengan lebih cekap berbanding GPU umum.

Butiran utama:

• Ia menggunakan teknologi TSMC 3nm. • OpenAI mereka bentuk seni bina tersebut. • Broadcom mengendalikan pelaksanaan silikon. • Microsoft akan membeli 40% daripada kelompok pertama.

OpenAI menggunakan model AI miliknya sendiri untuk mereka bentuk cip ini. AI tersebut menulis kod dan mengoptimumkan susun atur. Ini mewujudkan satu kitaran: AI membantu mereka bentuk cip yang lebih baik, dan cip yang lebih baik menjalankan AI dengan lebih baik.

Apa maksudnya untuk anda:

Jika anda menggunakan OpenAI API, anda mungkin akan melihat perubahan ini dalam tempoh 12 hingga 18 bulan:

  • Harga API lebih rendah: Kos yang lebih rendah bagi OpenAI membolehkan kadar yang lebih murah untuk pembangun.
  • Kelajuan lebih pantas: Cip ini ditala untuk model transformer, yang mengurangkan kependaman.
  • Langganan lebih murah: Harga ChatGPT Plus mungkin turun atau merangkumi lebih banyak ciri.

Terdapat risiko yang perlu dipertimbangkan:

  • Tiada ujian bebas: Kebanyakan data datang daripada OpenAI sendiri.
  • Kegunaan terhad: Cip ini tidak boleh melatih model. Anda masih memerlukan Nvidia untuk latihan.
  • Kebergantungan baharu: OpenAI beralih daripada Nvidia kepada Broadcom.
  • Teknologi masa hadapan: Jika model AI mengubah struktur mereka, cip ini mungkin hilang nilai.

OpenAI bukan lagi sekadar makmal AI. Ia kini merupakan sebuah syarikat infrastruktur. Mereka mengawal model, perisian, dan kini perkakasan.

Sumber: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi