Vercel च्या जूनमधील टोकन-शेअर रिपोर्टनुसार, गेटवे टोकन्सपैकी २९% भाग ओपन-वेट मॉडेल्स (open-weight models) हाताळत आहेत, जो एप्रिलमध्ये ११% होता. यामध्ये केवळ DeepSeek चा वाटा २२.६% आहे. ही वाढ एक वेगाने होणारा बदल दर्शवते: डेव्हलपर्स आता केवळ एका "सर्वोत्तम" मॉडेलवर अवलंबून न राहता, AI मॉडेल्सना राउट करण्यायोग्य पायाभूत सुविधा (routable infrastructure) म्हणून वापरत आहेत.

डेव्हलपर्स मॉडेल्सना पायाभूत सुविधा म्हणून का मानत आहेत

स्वस्त, ओपन-वेट मॉडेल्स—ज्यापैकी अनेक चिनी पुरवठादारांचे आहेत—Anthropic सारख्या प्रीमियम सेवांच्या तुलनेत अत्यंत कमी खर्चात उपलब्ध आहेत. कोड एक्सट्रॅक्शन, टेक्स्ट क्लीनिंग किंवा साध्या डेटा लूक-अप्स सारख्या नियमित कामांसाठी, डॉलर्सऐवजी केवळ काही सेंट्स खर्च करणारे मॉडेल अधिक आकर्षक ठरू शकते, जरी ते काही टक्के कमी अचूक असले तरीही.

याचा परिणाम एक नवीन डिझाइन पॅटर्न म्हणून समोर येत आहे. एखादे ॲप्लिकेशन प्रथम कामाच्या "साध्या" भागासाठी कमी खर्चाच्या मॉडेलला विनंती पाठवते. जर आउटपुट साध्या गुणवत्ता तपासणीत (quality check) उत्तीर्ण झाले, तर पाइपलाइन पुढे जाते; अन्यथा, दुसऱ्या फेरीसाठी किंवा अंतिम निर्णयासाठी उच्च-किमतीचे मॉडेल वापरले जाते. येथे राउटिंग लॉजिक (routing logic) हा महत्त्वाचा घटक बनतो, केवळ एका मॉडेलची निवड नाही.

आकडेवारी काय सांगते

Vercel चा डेटा, जो विविध AI पुरवठादारांना जोडणाऱ्या त्यांच्या गेटवेमधून घेतला आहे, असे दर्शवतो की ओपन-वेट मॉडेल्स आता कडेकोट भागातून मुख्य प्रवाहात येत आहेत. एप्रिलमध्ये, एकूण टोकन्सपैकी त्यांचा वाटा केवळ एक दशांश होता; जूनपर्यंत, ते एक तृतीयांश जवळ पोहोचले होते. DeepSeek या चिनी मॉडेलने एकट्यानेच टोकन व्हॉल्यूममध्ये एक पंचमांश पेक्षा जास्त वाटा उचलला आहे.

तरीही, खर्चाच्या बाबतीत हाय-एंड मॉडेल्सचे वर्चस्व कायम आहे. उदाहरणार्थ, Anthropic अजूनही एकूण खर्चाचा मोठा भाग मिळवत आहे कारण प्रति टोकन त्यांची किंमत जास्त आहे. हे गणित सोपे आहे: स्वस्त मॉडेल्स मोठ्या प्रमाणात होणाऱ्या, कमी नफ्याच्या कामांवर वर्चस्व मिळवतात, तर महागडी मॉडेल्स उच्च-नफा आणि उच्च-प्रभाव असलेली कामे राखून ठेवतात.

AI एजंट्ससाठी याचे परिणाम

एक AI एजंट सामान्यतः अनेक टप्प्यांची प्रक्रिया पार पाडतो: नियोजन (planning), डेटा रिट्रिव्हल (data retrieval), टूल इन्व्होकेशन (tool invocation) आणि रिझल्ट रिफाइनमेंट (result refinement). जेव्हा प्रत्येक टप्पा सर्वात किफायतशीर मॉडेलला सोपवता येतो, तेव्हा एकूण ऑपरेटिंग खर्च लक्षणीयरीत्या कमी होतो.

  • डेटा रिट्रिव्हल आणि एक्सट्रॅक्शन साठी अनेकदा केवळ मूलभूत भाषा समजून घेण्याची गरज असते, ज्यामध्ये स्वस्त मॉडेल्स उत्कृष्ट कामगिरी करतात.
  • अंतिम निर्णय—ज्या टप्प्यावर उत्तर स्वीकारार्ह आहे की नाही हे ठरवले जाते—तो उच्च विश्वासार्हता असलेल्या प्रीमियम मॉडेल्सच्या कार्यक्षेत्रात राहतो.

हा स्तरित दृष्टिकोन (layered approach) डेव्हलपर्सना बजेट न कोळसा करता मोठ्या प्रमाणात कामाचे ऑटोमेशन करण्यास मदत करतो. यामुळे "सर्वोत्तम मॉडेल निवडा" या कल्पनेकडून "प्रत्येक टप्प्यावर यश मोजा आणि त्यानुसार राउट करा" या कल्पनेकडे बदल होत आहे.

धोके आणि मर्यादा

याचे अर्थशास्त्र आकर्षक असले तरी, हा बदल अडथळ्यांशिवाय होणार नाही.

  • अनुपालन (Compliance): काही अधिकारक्षेत्रांमध्ये डेटा हाताळणीचे कडक नियम आहेत, ज्यामुळे परदेशी होस्ट केलेल्या मॉडेल्सचा वापर मर्यादित होऊ शकतो.
  • होस्टिंगची गुंतागुंत: मोठ्या प्रीमियम मॉडेल्सना स्वतःच्या सर्व्हरवर चालवणे कठीण असते, त्यामुळे संस्थांना बाह्य APIs वर अवलंबून राहावे लागते, ज्यामुळे लॅटन्सी (latency) आणि व्हेंडर-लॉक (vendor-lock) संबंधी चिंता वाढू शकतात.

या कारणांमुळे, स्वस्त मॉडेल्स प्रीमियम मॉडेल्सची पूर्णपणे जागा घेण्याची शक्यता कमी आहे. त्याऐवजी, ते नियमित कामासाठी डीफॉल्ट ठरतील, तर प्रीमियम मॉडेल्स "डिसिजन लेयर" मध्ये राहतील जिथे त्यांचा उच्च खर्च सार्थ ठरतो.

पुढील लक्ष देण्यासारख्या गोष्टी

  • राउटिंगसाठी टूल्स: जसा राउटिंग लेयर अधिक केंद्रीय होत जाईल, तसे आपण लॅटन्सी, खर्च आणि कॉन्फिडन्स थ्रेशोल्ड्सच्या (confidence thresholds) आधारावर मॉडेल निवड स्वयंचलित करणारे SDKs आणि प्लॅटफॉर्म्सची लाट पाहू शकतो.

जे डेव्हलपर्स टास्क-लेव्हल यश मोजण्यास, रिट्रायज (retries) ट्रॅक करण्यास आणि "व्हॉल्यूम" आणि "जजमेंट" यांमधील फरक स्पष्टपणे करण्यास सुरुवात करतील, ते या उदयोन्मुख इन्फ्रास्ट्रक्चर माइंडसेटचा फायदा घेण्यास सज्ज असतील.

मुख्य निष्कर्ष: AI स्टॅक आता केवळ एका मॉडेलच्या निवडीकडून राउटिंगच्या समस्येकडे वळत आहे, जिथे स्वस्त ओपन-वेट मॉडेल्स कामाचा मोठा भाग हाताळतात आणि प्रीमियम मॉडेल्स उच्च-प्रभाव निर्णयांसाठी राखून ठेवले जातात. या राउटिंगमध्ये प्रभुत्व मिळवणे हे AI बिल्डर्ससाठी पुढील स्पर्धात्मक फायदा ठरेल.