Chip OpenAI Jalapeño: Cách OpenAI cắt giảm 50% chi phí AI

OpenAI và Broadcom vừa công bố Jalapeño. Đây là một loại chip tùy chỉnh được chế tạo cho một nhiệm vụ duy nhất: chạy các mô hình ngôn ngữ lớn.

Loại chip này có thể cắt giảm 50% chi phí suy luận (inference) so với các GPU của Nvidia. Các mẫu kỹ thuật đang chạy thử nghiệm GPT-5.3-Codex-Spark. Việc sản xuất hàng loạt sẽ bắt đầu vào cuối năm 2026.

OpenAI chi khoảng 14 tỷ USD mỗi năm cho việc suy luận ChatGPT. Con số này còn lớn hơn cả tổng doanh thu của họ. Việc giảm 50% chi phí này sẽ giúp họ tiết kiệm 7 tỷ USD mỗi năm. Bước đi này giúp OpenAI chuẩn bị cho một đợt IPO tiềm năng vào năm 2026.

Cách thức hoạt động:

Hầu hết phần cứng AI đều sử dụng GPU. GPU là những công cụ đa năng. Chúng đảm nhận đồ họa, huấn luyện và suy luận. Sự linh hoạt này tạo ra thêm các chi phí vận hành dư thừa.

Jalapeño là một ASIC. Điều này có nghĩa là nó được chế tạo cho một tác vụ cụ thể. Nó chỉ tập trung vào việc chạy các mô hình sau khi chúng đã được huấn luyện. Nó xử lý bộ nhớ và mạng hiệu quả hơn so với một GPU đa năng.

Các chi tiết chính:

• Nó sử dụng công nghệ TSMC 3nm. • OpenAI thiết kế kiến trúc. • Broadcom đảm nhận việc triển khai silicon. • Microsoft sẽ mua 40% lô hàng đầu tiên.

OpenAI đã sử dụng các mô hình AI của chính mình để thiết kế loại chip này. AI đã viết mã và tối ưu hóa các sơ đồ bố trí (layouts). Điều này tạo ra một vòng lặp: AI giúp thiết kế chip tốt hơn, và chip tốt hơn sẽ chạy AI tốt hơn.

Điều này có ý nghĩa gì đối với bạn:

Nếu bạn sử dụng OpenAI API, bạn có thể thấy những thay đổi này trong vòng 12 đến 18 tháng tới:

  • Giá API thấp hơn: Chi phí thấp hơn cho OpenAI cho phép áp dụng mức giá rẻ hơn cho các nhà phát triển.
  • Tốc độ nhanh hơn: Chip được tinh chỉnh cho các mô hình transformer, giúp giảm độ trễ.
  • Gói đăng ký rẻ hơn: Giá ChatGPT Plus có thể giảm hoặc bao gồm nhiều tính năng hơn.

Có những rủi ro cần xem xét:

  • Không có các thử nghiệm độc lập: Hầu hết dữ liệu đều đến từ chính OpenAI.
  • Sử dụng hạn chế: Chip này không thể huấn luyện các mô hình. Bạn vẫn cần Nvidia để huấn luyện.
  • Sự phụ thuộc mới: OpenAI đang chuyển từ Nvidia sang Broadcom.
  • Công nghệ tương lai: Nếu các mô hình AI thay đổi cấu trúc, loại chip này có thể mất giá trị.

OpenAI không còn chỉ là một phòng thí nghiệm AI. Giờ đây, họ là một công ty cơ sở hạ tầng. Họ kiểm soát các mô hình, phần mềm và giờ đây là cả phần cứng.

Nguồn: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi