Vercel యొక్క జూన్ టోకెన్-షేర్ నివేదిక ప్రకారం, గేట్‌వే టోకెన్‌లలో 29% ఓపెన్-వెయిట్ మోడల్స్ (open-weight models) ద్వారా హ్యాండిల్ చేయబడుతున్నాయి, ఇది ఏప్రిల్‌లో ఉన్న 11% కంటే ఎక్కువ. ఇందులో కేవలం DeepSeek ఒక్కటే 22.6% వాటాను కలిగి ఉంది. ఈ పెరుగుదల ఒక వేగవంతమైన మార్పును సూచిస్తోంది: డెవలపర్లు ఒకే ఒక "ఉత్తమ" మోడల్‌పై ఆధారపడటం మానేసి, AI మోడల్స్‌ను రూటబుల్ ఇన్‌ఫ్రాస్ట్రక్చర్‌గా (routable infrastructure) పరిగణిస్తున్నారు.

డెవలపర్లు మోడల్స్‌ను ఇన్‌ఫ్రాస్ట్రక్చర్‌గా ఎందుకు పరిగణిస్తున్నారు

చౌకైన, ఓపెన్-వెయిట్ మోడల్స్—వీటిలో చాలా వరకు చైనీస్ ప్రొవైడర్ల నుండి వస్తాయి—Anthropic వంటి ప్రీమియం ఆఫరింగ్‌లతో పోలిస్తే చాలా తక్కువ ఖర్చుతో కూడుకున్నవి. కోడ్ ఎక్స్‌ట్రాక్షన్ (code extraction), టెక్స్ట్ క్లీనింగ్ (text cleaning), లేదా సాధారణ డేటా లుకప్స్ (data look-ups) వంటి రోజువారీ పనుల కోసం, డాలర్ల కంటే సెంట్ల ధరకే లభించే మోడల్ మరింత ఆకర్షణీయంగా ఉంటుంది, అది కొన్ని శాతం తక్కువ ఖచ్చితత్వాన్ని కలిగి ఉన్నప్పటికీ.

దీని ఫలితంగా ఒక కొత్త డిజైన్ ప్యాటర్న్ ఏర్పడింది. ఒక అప్లికేషన్ మొదట పనిలోని "బోరింగ్" (routine) భాగాన్ని పూర్తి చేయడానికి తక్కువ ఖర్చుతో కూడిన మోడల్‌కు రిక్వెస్ట్ పంపుతుంది. ఒకవేళ అవుట్‌పుట్ సాధారణ క్వాలిటీ చెక్‌లో ఉత్తీర్ణత సాధిస్తే, పైప్‌లైన్ ముందుకు సాగుతుంది; లేకపోతే, రెండోసారి ప్రయత్నించడానికి లేదా తుది నిర్ణయం కోసం ఎక్కువ ధర ఉన్న మోడల్‌ను ఉపయోగిస్తారు. ఇక్కడ ఒకే మోడల్‌ను ఎంచుకోవడం కంటే, రూటింగ్ లాజిక్ (routing logic) అనేది కీలకమైన అంశంగా మారుతుంది.

గణాంకాలు ఏం చెబుతున్నాయి

బహుళ AI ప్రొవైడర్లను కలిపి ఉంచే తన గేట్‌వే నుండి సేకరించిన Vercel డేటా ప్రకారం, ఓపెన్-వెయిట్ మోడల్స్ పరిధి నుండి ప్రధాన స్రవంతిలోకి (mainstream) మారుతున్నాయి. ఏప్రిల్‌లో, ఇవి మొత్తం టోకెన్‌లలో పదవ వంతు కంటే కొంచెం మాత్రమే కలిగి ఉండగా; జూన్ నాటికి, అవి మూడవ వంతుకు చేరుకున్నాయి. చైనీస్ మోడల్ అయిన DeepSeek ఒక్కటే టోకెన్ వాల్యూమ్‌లో ఐదొక వంతు కంటే ఎక్కువ వాటాను అందించింది.

ఖరీదైన (High-end) మోడల్స్ ఇప్పటికీ ఖర్చులో ఆధిపత్యం వహిస్తున్నాయి. ఉదాహరణకు, Anthropic టోకెన్ ధర ఎక్కువగా ఉండటం వల్ల, ఎక్కువ మొత్తంలో ఖర్చు దానికే జరుగుతోంది. దీని వెనుక ఉన్న లెక్క సరళమైనది: చౌకైన మోడల్స్ ఎక్కువ వాల్యూమ్ ఉన్న, తక్కువ లాభం (low-margin) ఉన్న పనులను చేపడతాయి, అదే సమయంలో ఖరీదైన మోడల్స్ ఎక్కువ లాభం మరియు అధిక ప్రభావం (high-impact) ఉన్న పనులను నిర్వహిస్తాయి.

AI ఏజెంట్లకు దీని ప్రభావం

ఒక AI ఏజెంట్ సాధారణంగా ప్లానింగ్, డేటా రిట్రీవల్ (data retrieval), టూల్ ఇన్వొకేషన్ (tool invocation), మరియు రిజల్ట్ రిఫైన్‌మెంట్ (result refinement) వంటి వరుస దశలను నిర్వహిస్తుంది. ప్రతి దశను అత్యంత తక్కువ ఖర్చుతో కూడిన మోడల్‌కు కేటాయించినప్పుడు, మొత్తం నిర్వహణ ఖర్చు గణనీయంగా తగ్గుతుంది.

  • డేటా రిట్రీవల్ మరియు ఎక్స్‌ట్రాక్షన్ కోసం తరచుగా ప్రాథమిక భాషా అవగాహన మాత్రమే అవసరమవుతుంది, ఈ పనిలో చౌకైన మోడల్స్ అద్భుతంగా పనిచేస్తాయి.
  • తుది తీర్పు (Final judgment)—అంటే సమాధానం ఆమోదయోగ్యమా కాదా అని నిర్ణయించే భాగం—అధిక విశ్వసనీయత కలిగిన ప్రీమియం మోడల్స్ పరిధిలోనే ఉంటుంది.

ఈ లేయర్డ్ అప్రోచ్ (layered approach) డెవలపర్లు బడ్జెట్‌ను పెంచకుండానే పెద్ద మొత్తంలో పనులను ఆటోమేట్ చేయడానికి అనుమతిస్తుంది. ఇది "ఉత్తమ మోడల్‌ను ఎంచుకోవడం" అనే పద్ధతి నుండి "ప్రతి దశలో విజయాన్ని కొలవడం మరియు దానికి అనుగుణంగా రూట్ చేయడం" అనే మార్పు వైపు నడిపిస్తుంది.

రిస్క్‌లు మరియు పరిమితులు

ఆర్థికపరంగా ఇది ఆకర్షణీయంగా ఉన్నప్పటికీ, ఈ మార్పు అంత సులభంగా సాగదు.

  • కంప్లయన్స్ (Compliance): కొన్ని ప్రాంతాల్లో డేటా హ్యాండ్లింగ్ కోసం కఠినమైన నిబంధనలు ఉంటాయి, ఇవి విదేశీ సర్వర్లలో హోస్ట్ చేయబడిన మోడల్స్ వాడకాన్ని పరిమితం చేయవచ్చు.
  • హోస్టింగ్ సంక్లిష్టత (Hosting complexity): పెద్ద ప్రీమియం మోడల్స్‌ను సొంతంగా (in-house) నడపడం కష్టం, కాబట్టి సంస్థలు బాహ్య APIలపై ఆధారపడాల్సి ఉంటుంది, ఇది లేటెన్సీ (latency) మరియు వెండర్-లాక్ (vendor-lock) సమస్యలను పెంచవచ్చు.

ఈ కారణాల వల్ల, చౌకైన మోడల్స్ ప్రీమియం మోడల్స్‌ను పూర్తిగా భర్తీ చేసే అవకాశం తక్కువ. బదులుగా, అవి రోజువారీ పనులకు డిఫాల్ట్‌గా మారుతాయి, మరియు ప్రీమియం మోడల్స్ "డిసిషన్ లేయర్" (decision layer) లో ఉంటాయి, అక్కడ వాటి అధిక ఖర్చు సమర్థనీయంగా ఉంటుంది.

తదుపరి ఏం గమనించాలి

  • రూటింగ్ కోసం టూలింగ్ (Tooling for routing): రూటింగ్ లేయర్ మరింత కీలకం కావడంతో, లేటెన్సీ, ఖర్చు మరియు కాన్ఫిడెన్స్ థ్రెషోల్డ్స్ (confidence thresholds) ఆధారంగా మోడల్ ఎంపికను ఆటోమేట్ చేసే SDKలు మరియు ప్లాట్‌ఫారమ్‌ల వేవ్‌ను మనం చూడవచ్చు.

టాస్క్-లెవల్ విజయాన్ని కొలవడం, రీట్రైలను (retries) ట్రాక్ చేయడం మరియు "వాల్యూమ్"ను "జడ్జిమెంట్" నుండి స్పష్టంగా వేరు చేసే డెవలపర్లు, ఈ కొత్త ఇన్‌ఫ్రాస్ట్రక్చర్ మైండ్‌సెట్ నుండి లాభపడటానికి సిద్ధంగా ఉంటారు.

ముఖ్య అంశం (Takeaway): AI స్టాక్ అనేది ఒకే మోడల్‌ను ఎంచుకోవడం నుండి రూటింగ్ సమస్యగా మారుతోంది, ఇక్కడ చౌకైన ఓపెన్-వెయిట్ మోడల్స్ ఎక్కువ పనిని నిర్వహిస్తాయి మరియు ప్రీమియం మోడల్స్ అధిక ప్రభావం చూపే నిర్ణయాల కోసం కేటాయించబడతాయి. ఆ రూటింగ్‌లో నైపుణ్యం సాధించడమే AI బిల్డర్లకు తదుపరి పోటీతత్వ శక్తిగా మారుతుంది.