Jalapeño Cuts AI Inference Latency Up to 3.6x, Threatening Nvidia’s Lead

બેન્ચમાર્ક હાઇલાઇટ્સ

Hot Chips કોન્ફરન્સમાં એવા આંકડાઓ જાહેર કરવામાં આવ્યા છે જેને એક સ્વતંત્ર કંપનીએ InferenceX સૂટ સાથે ચકાસ્યા છે. OpenAI Jalapeño ને જનરલ-પર્પઝ ઇન્ફરન્સ એક્સિલરેટર કહે છે—તે મોડલ્સ ચલાવે છે પરંતુ તેમને ટ્રેન કરતું નથી. પરીક્ષણોમાં ચિપ:

• આજના લીડર્સ કરતા પીક થ્રુપુટ પર વધારે વૉટ દીઠ 1.5 × થી 1.9 × વધુ કામ પૂરું પાડ્યું.
• લેટન્સીમાં 1.7 × થી 3.6 × નો ઘટાડો કર્યો, સાથે ઇન્ટરેક્ટિવ ગેઇન્સમાં 2.1 × થી 4.1 × નો વધારો થયો.

મોડલ-વિશિષ્ટ પરિણામો:

• GPT-OSS 120B: ~1,400 ટોકન્સ / સેકન્ડ