థింకింగ్ టోకెన్లు దాగి ఉన్న ఇన్ఫరెన్స్ ఖర్చులను పెంచుతున్నాయి
థింకింగ్ టోకెన్లు AI డెవలపర్లకు ఒక దాగి ఉన్న పన్నులా (hidden tax) మారుతున్నాయి.
OpenAI, Anthropic మరియు Google సంస్థలు థింకింగ్ టోకెన్ల కోసం అవుట్పుట్ రేట్ల వద్ద ఛార్జ్ చేస్తాయి. ఇది ఏజెంటిక్ పైప్లైన్లలో (agentic pipelines) ఖర్చులను 5 నుండి 10 రెట్లు పెంచుతుంది. చాలా మంది డెవలపర్లు ఈ టోకెన్లు ఉచితం లేదా చౌక అని అనుకుంటారు. కానీ అవి అలా కావు.
ఏజెంటిక్ పైప్లైన్లు ఈ సమస్యను మరింత తీవ్రం చేస్తాయి. ఏజెంట్లు తరచుగా విఫలమైన దశలను మళ్ళీ ప్రయత్నిస్తాయి (retry). ప్రతి ప్రయత్నం వందలాది కొత్త థింకింగ్ టోకెన్లను ఉత్పత్తి చేస్తుంది. 'perceive, reason, act, and observe' అనే ఒకే లూప్ వల్ల అనేక సార్లు రీట్రైలు జరగవచ్చు.
మీ లాభాల (margins) పరంగా ఈ లెక్కలు ప్రమాదకరమైనవి: • 3 నుండి 5 సార్లు రీట్రై అవసరమయ్యే ఒక టాస్క్కు దాగి ఉన్న టోకెన్ల కోసం $0.10 నుండి $0.50 వరకు ఖర్చవుతుంది. • రోజుకు 10,000 టాస్క్లు ఉండే పైప్లైన్కు అదనపు ఫీజుల రూపంలో $5,000 నుండి $25,000 వరకు ఖర్చవుతుంది. • APIల కోసం $10,000 ఖర్చు చేసే ఒక స్టార్టప్, కేవలం థింకింగ్ టోకెన్ల కోసమే $5,000 చెల్లించాల్సి రావచ్చు.
ఒక భారీ ధరల యుద్ధం మొదలవుతోంది. Gemini reasoning మోడల్ ధరలను 80% తగ్గించాలని Google యోచిస్తోంది. ఇది టెక్ దిగ్గజాలకు మరియు స్టార్టప్లకు మధ్య ఉన్న వ్యత్యాసాన్ని చూపుతుంది. Google కంప్యూట్ (compute) కోసం బిలియన్ల కొద్దీ ఖర్చు చేస్తుంది కాబట్టి, టోకెన్ల విషయంలో నష్టపోయినా తట్టుకోగలదు. కానీ స్టార్టప్లు అలా చేయలేవు.
ఈ అసమానత (asymmetry) పెద్ద ప్రొవైడర్లకు అనుకూలంగా ఉంటుంది. చిన్న కంపెనీలు ఈ ఖర్చులను భరించడానికి ఇబ్బంది పడుతుంటాయి. చివరికి Microsoft కూడా ఖర్చులను నిర్వహించడానికి usage-based pricing వైపు మళ్లుతోంది మరియు DeepSeek V4 వంటి చౌకైన ప్రత్యామ్నాయాలను పరిశీలిస్తోంది.
ఈ రెండు విషయాలను గమనించండి: • 2026 Q3లో Google యొక్క అధికారిక Gemini ధరలు. • థింకింగ్ టోకెన్ల కోసం tiered pricingకి సంబంధించి OpenAI స్పందన.
మీ టోకెన్ వినియోగాన్ని ఇప్పుడే నియంత్రించుకోండి, లేదంటే మీ లాభాలు కరిగిపోవడం చూస్తూ ఉండిపోతారు.
మూలం: https://pub.towardsai.net
ఐచ్ఛిక అభ్యాస సమూహం: https://t.me/GyaanSetuAi