బెంచ్‌మార్క్ హైలైట్స్

Hot Chips కాన్ఫరెన్స్ నంబర్లను వెల్లడించింది, వీటిని ఒక స్వతంత్ర సంస్థ InferenceX సూట్‌తో ధృవీకరించింది. OpenAI Jalapeñoను ఒక జనరల్-పర్పస్ ఇన్ఫరెన్స్ యాక్సిలరేటర్‌గా పిలుస్తుంది—ఇది మోడళ్లను రన్ చేస్తుంది కానీ వాటిని ట్రైన్ చేయదు. పరీక్షల్లో ఈ చిప్:

  • నేటి లీడర్ల కంటే పీక్ త్రూపుట్‌ వద్ద వాట్టీకి 1.5 × నుండి 1.9 × ఎక్కువ పనిని అందించింది.
  • లాటెన్సీని 1.7 × నుండి 3.6 × తగ్గించింది, ఇంటరాక్టివ్ లాభాలు 2.1 × నుండి 4.1 × వరకు ఉన్నాయి.

మోడల్-నిర్దిష్ట ఫలితాలు:

  • GPT-OSS 120B: ~1,400 టోకెన్లు / సెకను / యూజర్.
  • Deepseek R1 670B: ఒకే కన్కరెంట్ రిక్వెస్ట్‌పై ~700 టోకెన్లు / సెకను.
  • Kimi K2.5 1T: హై-పెర్ఫార్మెన్స్ సూట్‌లో పరీక్షించబడింది (ఖచ్చితమైన సంఖ్యలు వెల్లడించబడలేదు).

చాలా మంది ప్రత్యర్థులు తమ హెడ్‌లైన్ నంబర్లను పెంచుకోవడానికి ఉపయోగించే స్పెక్యులేటివ్ డీకోడింగ్ లేదా మల్టీ-టోకెన్ ప్రిడిక్షన్ వంటి ట్రిక్స్ లేకుండానే ఈ గణాంకాలు వచ్చాయని OpenAI నొక్కి చెప్పింది.

Jalapeño ఎలా నిర్మించబడింది

OpenAI, Broadcomతో కలిసి తొమ్మిది నెలల్లో చిప్ డిజైన్‌ను పూర్తి చేసింది. ఈ సంస్థ డిజైన్ లూప్‌లోకి తన స్వంత మోడళ్లను పంపి, బ్లూప్రింటింగ్, ప్రోగ్రామింగ్ మరియు ఆప్టిమైజేషన్‌ను వేగవంతం చేసింది—దీనిని "AI-assisted silicon design" అని పిలుస్తారు. ఈ వేగవంతమైన ప్రక్రియ, హై-పెర్ఫార్మెన్స్ సిలికాన్‌ను నిర్వచించిన పూర్వపు బహుళ సంవత్సరాల సైకిళ్ల నుండి వచ్చిన మార్పును హైలైట్ చేస్తుంది.

Nvidia ల లీడ్‌పై ప్రభావం

Nvidia ముడి పనితీరు (raw performance) మరియు CUDA ఎకోసిస్టమ్ మీద ఆధారపడి ఉంటుంది. ఈ కొత్త డేటా పనితీరులో ఉన్న ఆధిక్యతను సవాలు చేసేలా చేస్తోంది. మరిన్ని AI సంస్థలు ఇలాంటి సామర్థ్యంతో కూడిన కస్టమ్ ఇన్ఫరెన్స్ సిలికాన్‌ను విడుదల చేస్తే, డెవలపర్లు CUDA నుండి దూరంగా వెళ్ళిపోయే అవకాశం ఉందని, ఇది ప్రత్యామ్నాయ స్టాక్‌లకు మరియు విచ్ఛిన్నమైన మార్కెట్‌కు దారి తీస్తుందని విశ్లేషకులు హెచ్చరిస్తున్నారు.

OpenAI యొక్క మిక్స్‌డ్-సిగ్నల్ వ్యూహం

చీఫ్ ఫైనాన్షియల్ ఆఫీసర్ Kelly Huang, Jalapeñoను ఒక విస్తృతమైన కంప్యూట్ ప్లాన్‌లోని ఒక భాగంగా అభివర్ణించారు, ఇది ప్రస్తుత భాగస్వాములకు పూర్తిస్థాయి ప్రత్యామ్నాయం కాదు. OpenAI ఇప్పటికీ వివిధ వర్క్‌లోడ్‌ల కోసం Nvidia, AMD, AWS మరియు Cerebrasలతో కలిసి పనిచేస్తోంది. Jalapeño ఇంకా ఒక ఇంజనీరింగ్ శాంపిల్‌గానే ఉంది; ఇది ఇంకా Deepseek V4 Pro వంటి అతిపెద్ద రాబోయే మోడళ్లను ఎదుర్కోలేదు. ప్రతి పనికి ఉత్తమమైన కాస్ట్-పెర్ఫార్మెన్స్ మిశ్రమాన్ని సాధించడానికి, OpenAI తన స్వంత సిలికాన్‌ను థర్డ్-పార్టీ యాక్సిలరేటర్లతో కలిపి ఉపయోగిస్తుందని Huang వ్యాఖ్యలు సూచిస్తున్నాయి.

ప్రతివాదనలు

ప్రారంభ దశ శాంపిల్స్ భారీ ఉత్పత్తిని, దిగుబడిని (yields) లేదా దీర్ఘకాలిక విశ్వసనీయతను గ్యారెంటీ ఇవ్వవు, కాబట్టి ఉత్సాహాన్ని కొంత నియంత్రించుకోవాలి.

తదుపరి ఏమి గమనించాలి

  • ప్రొడక్షన్ రోల్‌అవుట్: OpenAI Jalapeñoను భారీ స్థాయిలో ఉత్పత్తి చేయగలదా, మరియు దాని ధర ఎంత ఉండవచ్చు?
  • సాఫ్ట్‌వేర్ స్టాక్: డెవలపర్ల కోసం ప్రోగ్రామింగ్ మోడల్ మరియు టూల్‌చైన్ ఎంత పరిణతి చెందినవిగా ఉంటాయి?
  • పోటీదారుల స్పందన: మార్కెట్ వాటాను కాపాడుకోవడానికి Nvidia మరియు ఇతర వెండర్లు తమ రోడ్‌మ్యాప్‌లను లేదా ధరలను ఎలా మారుస్తారు?
  • మోడల్ స్కేలింగ్: తదుపరి తరం ట్రిలియన్-పారామీటర్ మోడళ్లపై Jalapeño తన ఆధిక్యతను నిలుపుకుంటుందా?

ముగింపు: కస్టమ్ ఇన్ఫరెన్స్ సిలికాన్ అనేది ఒక చిన్న ప్రయోగం నుండి Nvidia యొక్క హార్డ్‌వేర్ ఆధిపత్యానికి ఒక నమ్మదగిన సవాలుగా మారుతోంది.