OpenAI Jalapeño చిప్: OpenAI AI ఖర్చులను 50% ఎలా తగ్గిస్తుంది

OpenAI మరియు Broadcom ఇప్పుడే Jalapeñoని వెల్లడించాయి. ఇది ఒకే ఒక పని కోసం రూపొందించబడిన కస్టమ్ చిప్: లార్జ్ లాంగ్వేజ్ మోడల్స్ (large language models) రన్ చేయడం.

Nvidia GPUsతో పోలిస్తే ఈ చిప్ ఇన్ఫరెన్స్ (inference) ఖర్చులను 50% తగ్గించగలదు. ఇంజనీరింగ్ శాంపిల్స్ ఇప్పటికే GPT-5.3-Codex-Sparkను రన్ చేస్తున్నాయి. 2026 చివరి నాటికి దీని భారీ ఉత్పత్తి (mass production) ప్రారంభమవుతుంది.

OpenAI ప్రతి సంవత్సరం ChatGPT ఇన్ఫరెన్స్ కోసం సుమారు $14 బిలియన్లను ఖర్చు చేస్తోంది. ఇది వారి మొత్తం ఆదాయం కంటే ఎక్కువ. ఈ ఖర్చును 50% తగ్గించడం వల్ల వారికి ప్రతి సంవత్సరం $7 బిలియన్లు ఆదా అవుతాయి. ఈ చర్య 2026లో రాబోయే IPO కోసం OpenAI సిద్ధమవడానికి సహాయపడుతుంది.

How it works:

చాలా AI హార్డ్‌వేర్‌లు GPUsని ఉపయోగిస్తాయి. GPUs అనేవి జనరల్ టూల్స్. అవి గ్రాఫిక్స్, ట్రైనింగ్ మరియు ఇన్ఫరెన్స్‌ను నిర్వహిస్తాయి. ఈ ఫ్లెక్సిబిలిటీ వల్ల అదనపు ఖర్చు (overhead) పెరుగుతుంది.

Jalapeño ఒక ASIC. అంటే ఇది ఒక నిర్దిష్ట పని కోసం నిర్మించబడింది. మోడల్స్ ట్రైన్ అయిన తర్వాత వాటిని రన్ చేయడంపైనే ఇది దృష్టి పెడుతుంది. ఇది ఒక జనరల్ GPU కంటే మెమరీ మరియు నెట్‌వర్కింగ్‌ను మరింత సమర్థవంతంగా నిర్వహిస్తుంది.

Key details:

• ఇది TSMC 3nm టెక్నాలజీని ఉపయోగిస్తుంది. • OpenAI దీని ఆర్కిటెక్చర్‌ను రూపొందించింది. • Broadcom సిలికాన్ ఇంప్లిమెంటేషన్‌ను నిర్వహించింది. • మొదటి బ్యాచ్‌లో 40%ను Microsoft కొనుగోలు చేస్తుంది.

OpenAI ఈ చిప్‌ను రూపొందించడానికి తన స్వంత AI మోడల్స్‌ను ఉపయోగించింది. AI కోడ్‌ను రాసింది మరియు లేఅవుట్‌లను ఆప్టిమైజ్ చేసింది. ఇది ఒక లూప్‌ను సృష్టిస్తుంది: AI మెరుగైన చిప్‌లను రూపొందించడంలో సహాయపడుతుంది, మరియు మెరుగైన చిప్‌లు మెరుగైన AIని రన్ చేస్తాయి.

What this means for you:

మీరు OpenAI APIని ఉపయోగిస్తుంటే, రాబోయే 12 నుండి 18 నెలల్లో ఈ మార్పులను చూడవచ్చు:

  • తక్కువ API ధరలు: OpenAI ఖర్చులు తగ్గడం వల్ల డెవలపర్లకు తక్కువ ధరకే రేట్లు లభిస్తాయి.
  • వేగవంతమైన వేగం: ఈ చిప్ ట్రాన్స్‌ఫార్మర్ మోడల్స్ (transformer models) కోసం ప్రత్యేకంగా రూపొందించబడింది, ఇది లాటెన్సీని (latency) తగ్గిస్తుంది.
  • చౌకైన సబ్‌స్క్రిప్షన్లు: ChatGPT Plus ధరలు తగ్గవచ్చు లేదా మరిన్ని ఫీచర్లను కలిగి ఉండవచ్చు.

There are risks to consider:

  • స్వతంత్ర పరీక్షలు లేవు: ఎక్కువ డేటా OpenAI నుండి మాత్రమే వస్తోంది.
  • పరిమిత వినియోగం: ఈ చిప్ మోడల్స్‌ను ట్రైన్ చేయలేదు. ట్రైనింగ్ కోసం మీకు ఇంకా Nvidia అవసరమవుతుంది.
  • కొత్త డిపెండెన్సీ: OpenAI, Nvidia నుండి Broadcom వైపు మళ్లుతోంది.
  • భవిష్యత్తు సాంకేతికత: ఒకవేళ AI మోడల్స్ వాటి నిర్మాణాన్ని మార్చుకుంటే, ఈ చిప్ విలువ తగ్గే అవకాశం ఉంది.

OpenAI ఇప్పుడు కేవలం ఒక AI ల్యాబ్ మాత్రమే కాదు. ఇది ఇప్పుడు ఒక ఇన్‌ఫ్రాస్ట్రక్చర్ కంపెనీ. వారు మోడల్స్, సాఫ్ట్‌వేర్ మరియు ఇప్పుడు హార్డ్‌వేర్‌ను కూడా నియంత్రిస్తున్నారు.

Source: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Optional learning community: https://t.me/GyaanSetuAi