OpenAI meluncurkan chip inferensi miliknya sendiri, Jalapeño, dan menyatakan bahwa chip ini memberikan throughput hingga 1,9 × per kilowatt dibandingkan akselerator GB200 dan GB300 milik Nvidia. Tim tersebut mengubah sebuah konsep menjadi die silikon yang berfungsi hanya dalam sembilan bulan—jauh lebih cepat daripada siklus dua hingga tiga tahun yang biasanya dibutuhkan untuk prosesor AI khusus.

Mengapa percepatan ini penting

OpenAI kini menjalankan model pada perangkat keras dari Cerebras, AWS Trainium, AMD, dan lainnya alih-alih hanya mengandalkan GPU Nvidia. Seiring dengan pergeseran beban kerja AI dari yang berfokus pada pelatihan (training) ke yang berfokus pada inferensi (inference), penggunaan daya dan biaya per kueri menjadi faktor penentu. Sebuah chip yang mampu memangkas setengah energi yang dibutuhkan untuk model dengan satu triliun parameter dapat mengurangi biaya operasional bagi layanan yang menangani miliaran permintaan setiap harinya.

Bagaimana AI merancang chip tersebut

Jalapeño adalah sebuah ASIC—chip yang dibuat untuk satu tujuan: menjalankan model bahasa besar (LLM). Berbeda dengan GPU serbaguna, ASIC membuang logika yang tidak perlu dan menyesuaikan jalur data dengan pola inferensi LLM. Insinyur OpenAI menulis desainnya dalam XLS, sebuah bahasa deskripsi perangkat keras yang memungkinkan model pembelajaran mesin menghasilkan kode. Perusahaan tersebut menyatakan bahwa logika yang dihasilkan oleh AI mencakup lebih dari setengah inti chip, sehingga memperpendek jalur desain dari hitungan tahun menjadi hitungan bulan.

Klaim performa vs realitas

OpenAI mencantumkan tiga angka utama untuk Jalapeño:

  • Throughput per kilowatt: 1,5 – 1,9 × lebih tinggi daripada GB200/GB300 milik Nvidia.
  • Latensi: 1,7 – 3,6 × lebih rendah daripada model Nvidia yang sama.
  • Konsumsi daya pada model 1 triliun parameter: 700 W dibandingkan 1.400 W pada GB300.

Jika angka-angka tersebut terbukti akurat, sebuah pusat data dapat menjalankan model yang sama dengan biaya listrik setengahnya sambil memberikan respons yang lebih cepat. Klaim tersebut berfokus pada inferensi; OpenAI tidak membahas performa pelatihan, selaras dengan penekanan saat ini pada penyediaan aplikasi tipe chat.

Apa artinya ini bagi Nvidia

Chip Blackwell dan Vera Rubin milik Nvidia mendatang menargetkan pasar akselerator kelas atas. Keunggulan Nvidia terletak pada tumpukan perangkat lunak (software stack) yang matang, adopsi pengembang yang luas, dan fleksibilitas di berbagai tugas AI. Sebaliknya, Jalapeño adalah perangkat dengan tujuan khusus yang hanya unggul ketika beban kerja sesuai dengan spesialisasinya.

Tekanan terhadap Nvidia memiliki dua sisi. Pertama, pelanggan yang mampu membeli ASIC khusus mungkin akan beralih demi penghematan yang dijanjikan, sehingga menggerus pangsa pasar inferensi Nvidia. Kedua, pembuktian bahwa AI dapat membantu merancang perangkat keras dapat memperpendek siklus pengembangan kompetitor, yang memaksa Nvidia untuk mempercepat peta jalan (roadmap) mereka.

Argumen penyeimbang dan pertanyaan terbuka

  • Ekosistem perangkat lunak: Library CUDA Nvidia, alat profiling, dan dukungan komunitas masih memberikan keunggulan telak bagi sebagian besar pengembang. Mengintegrasikan Jalapeño akan memerlukan rangkaian alat (toolchain) baru dan kemungkinan penulisan ulang kode.
  • Validasi dunia nyata: Angka-angka tersebut berasal dari pengujian internal OpenAI. Benchmark independen, data keandalan jangka panjang, dan perilaku penskalaan di bawah beban penyewa campuran (mixed-tenant loads) masih belum terverifikasi.
  • Ekonomi skala: Keunggulan biaya ASIC meningkat seiring dengan volume produksi. Penggunaan internal OpenAI mungkin membenarkan investasi tersebut, tetapi pelanggan eksternal bisa menghadapi harga per chip yang lebih tinggi kecuali jika produksi ditingkatkan skalanya.

Menatap ke depan

Untuk saat ini, Jalapeño membuktikan bahwa percepatan sembilan bulan dapat menghasilkan chip yang, di atas kertas, mengungguli GPU petahana pada bagian tumpukan AI yang paling sensitif terhadap biaya. Ujian sebenarnya adalah apakah keunggulan tersebut dapat bertahan dalam beban kerja dunia nyata yang berat.