लार्ज लँग्वेज मॉडेलचे (LLM) किंमत निर्धारण वरवर पाहता सोपे वाटते. तुम्ही प्रत्येक टोकनसाठी पैसे देता. पण प्रोडक्शन वर्कलोड चालवणारी कोणतीही व्यक्ती जाणते की वास्तव अधिक गुंतागुंतीचे आहे. कोणत्याही मोठ्या घोषणेशिवाय दर बदलतात. बिलिंग टियर्सची (billing tiers) पुनर्रचना केली जाते. एका सेंटचा काहीसा भाग इथे गायब होतो आणि तिथे पुन्हा प्रकट होतो, आणि अचानक तुमचा मासिक खर्च वीस टक्क्यांनी वाढतो. म्हणूनच तीन प्रदात्यांकडून—Ambient, Novita आणि StreamLake—केलेले अलीकडील किंमत अपडेट्स तुमच्या त्वरित लक्ष देण्यास पात्र आहेत. जर तुम्ही यापैकी कोणत्याही प्लॅटफॉर्मचा वापर करत असाल, तर तुम्ही गेल्या महिन्यात जे बजेट ठरवले होते ते आता विश्वसनीय नाही.
टोकन इकॉनॉमिक्सचे (Token Economics) सुप्त वजन
बहुतेक डेव्हलपर्स मूळ दराकडे (base rate) लक्ष केंद्रित करतात. इनपुट टोकनचा खर्च इतका आहे. आउटपुट टोकनचा खर्च तितका आहे. गोष्ट संपली. पण तसे नाहीये. LLM इंटिग्रेशनचा खरा खर्च यामध्ये 'रिट्राय लॉजिक' (retry logic), बिलिंग होणाऱ्या अयशस्वी विनंत्या (failed requests), 'कॉन्टेक्स्ट विंडो पॅडिंग' (context window padding) आणि प्रत्येक वेळी तुमच्या इनपुट अलोकेशनचा वापर करणारे 'सिस्टम प्रॉम्प्ट्स' (system prompts) यांचा समावेश असतो. जेव्हा एखादा प्रदाता त्याच्या किमती अपडेट करतो, तेव्हा ते सर्व दर समान प्रमाणात वाढवत नाहीत. कधीकधी इनपुट स्वस्त होते तर आउटपुट महाग होते. कधीकधी लाँग-कॉन्टेक्स्ट मॉडेल्स वेगळ्या टियरमध्ये जातात. कधीकधी बदल प्रति-टोकन दरात नसून किमान कॉम्प्युट चार्ज (minimum compute charge) किंवा बॅच प्रोसेसिंग डिस्काउंटमध्ये असतो.
जर तुम्ही एखाद्या टीमसाठी खर्च व्यवस्थापित करत असाल, तर या अपडेट्सकडे किरकोळ नोंदी म्हणून न पाहता 'इन्फ्रास्ट्रक्चर इव्हेंट्स' (infrastructure events) म्हणून पाहणे आवश्यक आहे. किंमत दर्शवणारे पेज हे डॉलर्समध्ये लिहिलेले 'सर्व्हिस-लेव्हल एग्रीमेंट' (service-level agreement) असते. जेव्हा त्यात बदल होतो, तेव्हा तुमच्या आर्किटेक्चरमध्येही बदल करण्याची आवश्यकता भासू शकते.
Ambient चे किंमत अपडेट
Ambient ने त्याच्या मॉडेलच्या किमतींमध्ये बदल केले आहेत, याचा अर्थ त्यांच्या एंडपॉइंट्सवर (endpoints) चालणारे तुमचे कोणतेही इंटिग्रेशन पुन्हा तपासण्याची गरज आहे. स्पष्ट गोष्टीपासून सुरुवात करा: नवीन इनपुट आणि आउटपुट दरांची तुमच्या शेवटच्या इनव्हॉइसशी तुलना करा. केवळ स्मृतीवर अवलंबून राहू नका. दोन्ही पेजेस एकमेकांच्या बाजूला उघडा.
विशेषतः 'कॉन्टेक्स्ट-विंडो' (context-window) प्राइसिंग तपासा. काही प्रदाते 4K टोकन्सपर्यंत एक सपाट दर (flat rate) आकारतात आणि त्यानंतर 8K, 32K किंवा 128K च्या मर्यादेवर दर वाढवतात. जर Ambient ने ते टियर्स अधिक कडक केले असतील किंवा नवीन टियर्स जोडले असतील, तर तुमच्या लाँग-डॉक्युमेंट समरायझेशन (long-document summarization) कामांचा खर्च तुमच्या Q&A बॉट्सपेक्षा अचानक लक्षणीयरीत्या जास्त होऊ शकतो. आउटपुट टोकन म्हणून काय मोजले जाते, याची त्यांची व्याख्या बदलली आहे का ते देखील तपासा. काही विक्रेते अंतर्गत 'रीझनिंग' (reasoning) किंवा 'टूल-कॉलिंग' (tool-calling) टोकन्सना आउटपुट म्हणून बिल करतात; इतर तसे करत नाहीत. ही संदिग्धता लवकरच इनव्हॉइसमधील आश्चर्यांमध्ये बदलू शकते.
जर तुम्ही रिस्पॉन्स कॅश (caching responses) करत असाल, तर Ambient ने त्याच्या 'कॅश हिट' (cache hit) प्राइसिंगमध्ये बदल केला आहे का ते तपासा. काही प्रदाते वारंवार येणाऱ्या प्रॉम्प्ट्सवर सवलत देतात. जर ती सवलत कमी झाली असेल, तर तुमच्या 'डिड्युप्लिकेशन स्ट्रॅटेजीला' (deduplication strategy) अधिक मजबुतीची गरज भासू शकते.
Novita चे इन्फरन्स रेट्स (Inference Rates)
Novita एका इन्फरन्स प्लॅटफॉर्मप्रमाणे कार्य करते जिथे डेव्हलपर्स युनिफाइड एंडपॉइंट्सद्वारे (unified endpoints) विविध मॉडेल्सचा वापर करू शकतात. ही सोय मौल्यवान आहे, परंतु याचा अर्थ असाही आहे की किंमतीतील बदल एकाच वेळी अनेक मॉडेल फॅमिलीमध्ये पसरू शकतात. Novita च्या अपडेटेड प्राइसिंगचा परिणाम लहान 'एम्बेडिंग मॉडेल्स'पासून ते मोठ्या 'रीझनिंग इंजिन्स'पर्यंत सर्व गोष्टींवर होऊ शकतो.
तुमचे युसेज लॉग्स (usage logs) काढा आणि ते मॉडेलनुसार गटबद्ध करा. Novita ने सामान्य चॅट मॉडेल्ससाठी दर स्थिर ठेवले असतील, परंतु व्हिजन (vision) किंवा कोड-विशिष्ट व्हेरिएंट्ससाठी ते वाढवले असतील. किंवा त्यांनी प्रादेशिक प्राइसिंग (regional pricing) सुरू केले असेल, जे तुमच्या युरोपियन ट्रॅफिकला अधिक महागड्या नोड्सद्वारे (nodes) वळवते. जर तुमच्या ॲप्लिकेशनमध्ये मॉडेलची निवड 'हार्डकोड' (hardcoded) केलेली असेल, तर एका मॉडेलवरील दर वाढल्यामुळे थोडे संथ असलेले पर्यायी मॉडेल हे अधिक तर्कसंगत निवड ठरू शकते.
थ्रूपुट चार्जेसवर (throughput charges) लक्ष द्या. Novita सारखे प्लॅटफॉर्म कधीकधी टोकन खर्च आणि डिलिव्हरी स्पीड वेगळे ठेवतात. जर तुम्ही प्रीमियम लो-लेटन्सी एंडपॉइंट्ससाठी (premium low-latency endpoints) पैसे देत असाल, तर तो सरचार्ज वाढला आहे का ते तपासा. बॅच किंवा ऑफलाइन वर्कलोडसाठी,