थिंकिंग टोकन्समुळे छुपे इन्फरन्स खर्च वाढतात
थिंकिंग टोकन्समुळे AI डेव्हलपर्ससाठी एक छुपी कर प्रणाली (hidden tax) तयार होते.
OpenAI, Anthropic आणि Google थिंकिंग टोकन्ससाठी आउटपुट दराप्रमाणे (output rates) शुल्क आकारतात. यामुळे एजेंटिक पाइपलाइन्समध्ये (agentic pipelines) खर्च 5x ते 10x ने वाढतो. बहुतेक डेव्हलपर्सना असे वाटते की हे टोकन्स मोफत किंवा स्वस्त आहेत. पण तसे नाहीये.
एजेंटिक पाइपलाइन्समुळे ही समस्या अधिक गंभीर होते. एजंट्स अनेकदा अयशस्वी पायऱ्या पुन्हा करण्याचा प्रयत्न (retry) करतात. प्रत्येक प्रयत्नामुळे शेकडो नवीन थिंकिंग टोकन्स तयार होतात. 'perceive, reason, act, and observe' या एका चक्रामुळे अनेक वेळा रीट्राय करावे लागू शकते.
तुमच्या नफ्याच्या मार्जिनसाठी हे गणित धोकादायक आहे: • 3 ते 5 रीट्राय असलेल्या एका कामासाठी छुपे टोकन्स खर्च $0.10 ते $0.50 येतो. • दिवसाला 10,000 टास्क असलेल्या पाइपलाइनसाठी $5,000 ते $25,000 अतिरिक्त शुल्क लागू शकते. • API वर $10,000 खर्च करणारी स्टार्टअप कंपनी केवळ थिंकिंग टोकन्ससाठीच $5,000 मोजू शकते.
एक मोठी किंमत युद्ध (price war) सुरू होत आहे. Google आपल्या Gemini reasoning मॉडेलच्या किमती 80% ने कमी करण्याचा विचार करत आहे. हे टेक दिग्गज आणि स्टार्टअप्समधील दरी दर्शवते. Google टोकन्सवर पैसे गमावू शकते कारण ते कम्प्युटवर अब्जावधी रुपये खर्च करतात. स्टार्टअप्स तसे करू शकत नाहीत.
ही विषमता मोठ्या पुरवठादारांच्या फायद्याची आहे. लहान कंपन्यांना हे खर्च पेलणे कठीण जाते. अगदी Microsoft देखील आता युसेज-बेस्ड प्राइसिंगकडे (usage-based pricing) वळत आहे आणि खर्च व्यवस्थापित करण्यासाठी DeepSeek V4 सारख्या स्वस्त पर्यायांचा विचार करत आहे.
या दोन गोष्टींवर लक्ष ठेवा: • 2026 च्या तिसऱ्या तिमाहीतील (Q3 2026) Google चे अधिकृत Gemini दर. • थिंकिंग टोकन्ससाठी टियर्ड प्राइसिंग (tiered pricing) बाबत OpenAI चा प्रतिसाद.
तुमच्या टोकन वापराचे व्यवस्थापन आताच करा, अन्यथा तुमचा नफा (margins) कमी होत जाईल.
Source: https://pub.towardsai.net
Optional learning community: https://t.me/GyaanSetuAi