AI మౌలిక సదుపాయాల రంగం (AI infrastructure landscape) ఒక ప్రాథమిక మార్పును ఎదుర్కొంటోంది, ఎందుకంటే పెట్టుబడులు మోడల్ శిక్షణ (model training) నుండి మోడల్ అమలు (model execution) వైపు మళ్లుతున్నాయి. టెక్ ఇన్వెస్ట్‌మెంట్ సంస్థ Upper90, AI ఇన్ఫరెన్స్ స్టార్టప్ General Computeకి అందించిన భారీ $400 మిలియన్ల రుణం, హార్డ్‌వేర్‌కు నిధులు ఎలా సమకూర్చాలి మరియు ఎలా ఉపయోగించాలి అనే విషయంలో ఒక చారిత్రాత్మక మైలురాయిని సూచిస్తుంది.

కొలేటరల్ (Collateral) యొక్క కొత్త యుగం: ఇన్ఫరెన్స్ చిప్స్‌కు ఆర్థిక సహాయం

GPU ఫైనాన్సింగ్ ప్రారంభ రోజులను పోలి ఉండేలా, Upper90 ఒక కొత్త అసెట్ క్లాస్‌లోకి ప్రవేశిస్తోంది: అదే ఇన్ఫరెన్స్-స్పెసిఫిక్ సిలికాన్ (inference-specific silicon). CoreWeave వంటి సంస్థలు ముందుగా ప్రారంభించిన ఫైనాన్సింగ్ తరంగాలు భారీ శిక్షణ పనుల (training workloads) కోసం ఉపయోగించే Nvidia GPUs పై దృష్టి సారించాయి, కానీ ఈ $400 మిలియన్ల ఒప్పందం ఇప్పటికే శిక్షణ పొందిన మోడళ్లను నడపడానికి ప్రత్యేకంగా తయారు చేసిన చిప్‌లను కొలేటరల్‌గా ఉపయోగిస్తుంది.

CEO Finn Puklowski నేతృత్వంలోని General Compute, ఒక "neocloud"ను నిర్మిస్తోంది—ఇది సాధారణ కంప్యూటింగ్ కంటే AI వర్క్‌లోడ్‌ల కోసం ప్రత్యేకంగా రూపొందించబడిన ఒక ప్రత్యేక మౌలిక సదుపాయాల ప్రదాత. ఈ తేడా చాలా కీలకం; AWS మరియు Azure వంటి సాంప్రదాయ హైపర్‌స్కేలర్లు విస్తృత సేవలను అందిస్తే, neocloudలు Large Language Models (LLMs) యొక్క ప్రత్యేక లాటెన్సీ (latency) మరియు త్రూపుట్ (throughput) అవసరాలకు అనుగుణంగా ఆప్టిమైజ్ చేయబడతాయి.

SambaNova యొక్క SN50 సాంకేతిక ఆధిక్యత

General Compute వ్యూహానికి కేంద్ర బిందువు Intel మద్దతు ఉన్న చిప్‌మేకర్ SambaNovaతో దాని భాగస్వామ్యం. ఈ కంపెనీ SambaNova యొక్క SN50 చిప్‌లను ఉపయోగిస్తోంది, ఇవి సాంప్రదాయ హార్డ్‌వేర్ కంటే గణనీయమైన పనితీరును అందించేలా రూపొందించబడ్డాయి.

General Compute ప్రకారం, ఈ చిప్‌లు ప్రస్తుత GPU ఆధారిత క్లౌడ్‌ల కంటే 16 రెట్లు వేగవంతమైన ఇన్ఫరెన్స్ వేగాన్ని అందించగలవు. కేవలం వేగం మాత్రమే కాకుండా, SN50 రెండు ప్రధాన కార్యాచరణ ప్రయోజనాలను అందిస్తుంది:

  • పవర్ ఎఫిషియన్సీ (Power Efficiency): ఇవి ప్రతి టోకెన్‌కు తక్కువ శక్తిని వినియోగిస్తాయి, తద్వారా AI విస్తరణకు అయ్యే భారీ ఖర్చులను తగ్గిస్తాయి.
  • సరళమైన కూలింగ్ (Simplified Cooling): సంక్లిష్టమైన, ఖరీదైన వాటర్-కూలింగ్ సిస్టమ్‌లు అవసరమయ్యే హై-ఎండ్ GPUs లా కాకుండా, ఈ చిప్‌లు వివిధ రకాల ప్రామాణిక డేటా సెంటర్ వాతావరణాలలో వేగంగా విస్తరించడానికి వీలు కల్పిస్తాయి.

Nvidia ఏకఛత్రాధిపత్యాన్ని ఛేదించడం

ఈ ఒప్పందం కేవలం పెట్టుబడి మాత్రమే కాదు; మార్కెట్ Nvidia ఆధిపత్యానికి ప్రత్యామ్నాయాలను వెతుకుతోందనే వ్యూహాత్మక సంకేతం. టోకెన్ల ఖర్చు మరియు ఫ్రంటియర్ మోడల్ యాక్సెస్ డెవలపర్‌లకు అడ్డంకిగా ఉండటంతో, ఓపెన్-సోర్స్ మోడళ్లకు చౌకగా, సమర్థవంతంగా యాక్సెస్ పొందేందుకు పెరుగుతున్న డిమాండ్ ఉంది.

కోడింగ్ బెంచ్‌మార్క్‌లలో Anthropic మరియు OpenAIలతో పోటీపడే Kimi యొక్క K3 వంటి అధిక పనితీరు కలిగిన ఓపెన్-సోర్స్ మోడళ్ల పెరుగుదల వల్ల, పరిశ్రమ యొక్క ప్రధాన సవాలు "మోడళ్లను ఎలా నిర్మించాలి?" నుండి "వాటిని తక్కువ ఖర్చుతో ఎలా నడపాలి?" అనే దిశగా మారుతోంది. Nvidia కాని సిలికాన్‌ను ఉపయోగించడం ద్వారా, General Compute మరియు TensorWave (AMDతో భాగస్వామ్యం) వంటి పోటీదారులు మెరుగైన Total Cost of Ownership (TCO)ని అందించడానికి సిద్ధమవుతున్నారు.

Puklowski పేర్కొన్నట్లుగా, ఈ ఒప్పందం AI ఎకోసిస్టమ్‌పై Nvidia యొక్క ఏకఛత్రాధిపత్యాన్ని విచ్ఛిన్నం చేయడానికి "పెట్టుబడి తనంతట తానుగా వ్యవస్థీకృతమవుతోంది" అని సూచిస్తుంది. ప్రత్యేకమైన ఇన్ఫరెన్స్ హార్డ్‌వేర్‌పై పందెం వేయడం ద్వారా, AI విప్లవం యొక్క తదుపరి దశ స్కేల్ (scale), సామర్థ్యం (efficiency) మరియు రోజువారీ అప్లికేషన్‌లలో AI యొక్క విస్తృతి ద్వారా నడపబడుతుందని పెట్టుబడిదారులు గుర్తిస్తున్నారు.

ముఖ్య అంశాలు

  • ఇన్ఫరెన్స్-ఫస్ట్ ఫైనాన్సింగ్ (Inference-First Financing): ఈ $400 మిలియన్ల ఒప్పందం, భారీ రుణాల కోసం కేవలం శిక్షణ ఇచ్చే GPUs మాత్రమే కాకుండా, ప్రత్యేకమైన ఇన్ఫరెన్స్ చిప్‌లను కొలేటరల్‌గా ఉపయోగించే దిశగా మార్పును సూచిస్తుంది.
  • పనితీరు మెరుగుదల: SambaNova యొక్క SN50 చిప్‌లను ఉపయోగించి, మెరుగైన పవర్ ఎఫిషియన్సీ మరియు సులభమైన విస్తరణను అందించేలా, GPU ఆధారిత క్లౌడ్‌ల కంటే 16 రెట్లు మెరుగైన పనితీరును అందించాలని General Compute లక్ష్యంగా పెట్టుకుంది.
  • స్టాక్ వైవిధ్యీకరణ (Diversifying the Stack): ఓపెన్-సోర్స్ LLMల తక్కువ ఖర్చుతో కూడిన స్కేలింగ్‌కు మద్దతు ఇవ్వడానికి, Nvidia కాని సిలికాన్ కోసం పెరుగుతున్న మార్కెట్ డిమాండ్‌ను ఈ చర్య సూచిస్తుంది.