लार्ज लैंग्वेज मॉडल (LLM) की प्राइसिंग सतह पर सरल दिखती है। आप प्रति टोकन भुगतान करते हैं। लेकिन प्रोडक्शन वर्कलोड चलाने वाला कोई भी व्यक्ति जानता है कि वास्तविकता कहीं अधिक जटिल है। बिना किसी शोर-शराबे के दरें बदल जाती हैं। बिलिंग टियर्स (billing tiers) को पुनर्गठित किया जाता है। एक सेंट का एक छोटा सा हिस्सा यहाँ गायब होता है और वहाँ फिर से दिखाई देता है, और अचानक आपका मासिक खर्च बीस प्रतिशत बढ़ जाता है। यही कारण है कि तीन प्रोवाइडर्स—Ambient, Novita, और StreamLake—के हालिया प्राइसिंग अपडेट्स पर आपका तुरंत ध्यान देना आवश्यक है। यदि आप इनमें से किसी भी प्लेटफॉर्म का उपयोग कर रहे हैं, तो पिछले महीने आपने जो बजट बनाया था, वह अब विश्वसनीय नहीं है।
टोकन इकोनॉमिक्स का छिपा हुआ भार
अधिकांश डेवलपर्स बेस रेट (base rate) पर ही ध्यान केंद्रित करते हैं। इनपुट टोकन की लागत इतनी है। आउटपुट टोकन की लागत इतनी है। बस, बात खत्म। लेकिन ऐसा नहीं है। एक LLM इंटीग्रेशन की वास्तविक लागत में रिट्राय लॉजिक (retry logic), वे विफल अनुरोध (failed requests) जिनका बिल फिर भी आता है, कॉन्टेक्स्ट विंडो पैडिंग (context window padding), और सिस्टम प्रॉम्प्ट्स शामिल होते हैं जो हर बार आपके इनपुट एलोकेशन को कम कर देते हैं। जब कोई प्रोवाइडर अपनी प्राइसिंग अपडेट करता है, तो वे शायद ही कभी सभी दरों को समान रूप से बढ़ाते हैं। कभी-कभी इनपुट सस्ता हो जाता है जबकि आउटपुट महंगा हो जाता है। कभी-कभी लॉन्ग-कॉन्टेक्स्ट मॉडल एक अलग टियर में चले जाते हैं। कभी-कभी बदलाव प्रति-टोकन दर में नहीं, बल्कि न्यूनतम कंप्यूट चार्ज या बैच प्रोसेसिंग डिस्काउंट में होता है।
यदि आप किसी टीम के लिए लागत का प्रबंधन करते हैं, तो आपको इन अपडेट्स को मामूली फुटनोट के बजाय इंफ्रास्ट्रक्चर इवेंट के रूप में देखना चाहिए। एक प्राइसिंग पेज डॉलर में लिखा गया सर्विस-लेवल एग्रीमेंट (SLA) है। जब यह बदलता है, तो हो सकता है कि आपके आर्किटेक्चर को भी इसके साथ बदलने की आवश्यकता हो।
Ambient का प्राइसिंग अपडेट
Ambient ने अपनी मॉडल प्राइसिंग में बदलाव किया है, जिसका अर्थ है कि उनके एंडपॉइंट्स (endpoints) पर चल रहे आपके किसी भी इंटीग्रेशन को नए सिरे से देखने की आवश्यकता है। स्पष्ट चीज़ों से शुरुआत करें: अपने पिछले इनवॉइस के साथ नई इनपुट और आउटपुट दरों की तुलना करें। याददाश्त पर भरोसा न करें। दोनों पेजों को अगल-बगल खोलें।
विशेष रूप से कॉन्टेक्स्ट-विंडो प्राइसिंग (context-window pricing) पर ध्यान दें। कुछ प्रोवाइडर्स 4K टोकन तक एक फ्लैट रेट लेते हैं, और फिर 8K, 32K, या 128K की सीमाओं पर दरें बढ़ा देते हैं। यदि Ambient ने उन टियर्स को कड़ा कर दिया है या नए टियर्स जोड़ दिए हैं, तो आपके लॉन्ग-डॉक्यूमेंट समराइजेशन (long-document summarization) कार्यों की लागत आपके Q&A बॉट्स की तुलना में अचानक काफी अधिक हो सकती है। यह भी जाँचें कि क्या उन्होंने आउटपुट टोकन की अपनी परिभाषा बदल दी है। कुछ वेंडर्स इंटरनल रीजनिंग (internal reasoning) या टूल-कॉलिंग (tool-calling) टोकन को आउटपुट के रूप में बिल करते हैं; अन्य ऐसा नहीं करते हैं। यह अस्पष्टता जल्दी ही इनवॉइस में चौंकाने वाले बदलावों का कारण बन जाती है।
यदि आप रिस्पॉन्स कैश (cache) कर रहे हैं, तो सत्यापित करें कि क्या Ambient ने अपनी कैश हिट प्राइसिंग (cache hit pricing) में बदलाव किया है। कुछ प्रोवाइडर्स बार-बार आने वाले प्रॉम्प्ट्स पर डिस्काउंट देते हैं। यदि वह डिस्काउंट कम हो गया है, तो आपकी डिडुप्लीकेशन रणनीति (deduplication strategy) को सुदृढ़ करने की आवश्यकता हो सकती है।
Novita की इन्फरेंस दरें (Inference Rates)
Novita एक इन्फरेंस प्लेटफॉर्म (inference platform) के रूप में काम करता है जहाँ डेवलपर्स यूनिफाइड एंडपॉइंट्स (unified endpoints) के माध्यम से विभिन्न मॉडल्स तक पहुँच प्राप्त करते हैं। वह सुविधा मूल्यवान है, लेकिन इसका मतलब यह भी है कि प्राइसिंग में बदलाव एक साथ कई मॉडल परिवारों (model families) को प्रभावित कर सकते हैं। Novita की अपडेटेड प्राइसिंग छोटे एम्बेडिंग मॉडल्स (embedding models) से लेकर बड़े रीजनिंग इंजनों (reasoning engines) तक सब कुछ प्रभावित कर सकती है।
अपने यूसेज लॉग्स (usage logs) निकालें और उन्हें मॉडल के आधार पर ग्रुप करें। हो सकता है कि Novita ने जनरल चैट मॉडल्स के लिए दरें स्थिर रखी हों, जबकि विज़न (vision) या कोड-विशिष्ट वेरिएंट्स के लिए उन्हें बढ़ा दिया हो। या उन्होंने क्षेत्रीय प्राइसिंग (regional pricing) पेश की हो सकती है जो आपके यूरोपीय ट्रैफिक को अधिक महंगे नोड्स (nodes) के माध्यम से रूट करती है। यदि आपने अपने एप्लिकेशन में मॉडल सिलेक्शन को हार्डकोड (hardcode) किया हुआ है, तो एक मॉडल पर दर वृद्धि किसी थोड़े धीमे विकल्प को एक तर्कसंगत विकल्प बना सकती है।
थ्रूपुट चार्जेस (throughput charges) पर ध्यान दें। Novita जैसे प्लेटफॉर्म कभी-कभी टोकन लागत को डिलीवरी स्पीड से अलग रखते हैं। यदि आप प्रीमियम लो-लेटेंसी एंडपॉइंट्स (low-latency endpoints) के लिए भुगतान कर रहे हैं, तो जाँचें कि क्या वह सरचार्ज बढ़ गया है। बैच या ऑफलाइन वर्कलोड के लिए,