AI APIs की वास्तविक लागत
किसी वेबसाइट पर दी गई API की कीमत आपका वास्तविक प्रोडक्शन बजट नहीं है।
प्राइसिंग पेज यूनिट रेट दिखाते हैं। वे प्रति मिलियन टोकन की लागत या प्रति इमेज की लागत दिखाते हैं। ये नंबर उपयोगी तो हैं लेकिन अधूरे हैं।
एक वास्तविक प्रोडक्ट केवल एक रिक्वेस्ट से कहीं अधिक का उपयोग करता है। आपको इनके लिए हिसाब रखना होगा:
- बार-बार आने वाला कॉन्टेक्स्ट (repeated context)
- टूल के परिणाम (tool results)
- कैश राइट्स (cache writes)
- रिट्राइज़ (retries)
- डुप्लिकेट सबमिशन
- विफल मीडिया जॉब्स
- यूज़र्स द्वारा रिजेक्ट किए गए आउटपुट
मैंने यह देखने के लिए तीन वर्कलोड के लिए एक बजट मॉडल बनाया कि ये कारक हिसाब-किताब (math) को कितना बदल देते हैं।
स्टैंडर्ड LLM एप्लीकेशन्स एक साधारण गणना 6,000 रिक्वेस्ट के लिए $81 दिखा सकती है। लेकिन यदि आप 3% रिट्राइ रेट और 15% प्लानिंग बफर जोड़ते हैं, तो आपकी लागत $95.94 तक पहुँच जाती है। जैसे-जैसे आप स्केल करते हैं, यह अंतर बढ़ता जाता है।
कोडिंग एजेंट वर्कफ़्लो कोडिंग एजेंटों को मैसेज के आधार पर न मापें। उन्हें पूरे किए गए कार्य (task) के आधार पर मापें। एक कार्य में शामिल हो सकते हैं:
- सोर्स फाइल्स पढ़ना
- डिपेंडेंसीज़ का निरीक्षण करना
- शेल कमांड्स चलाना
- कमांड आउटपुट को प्रोसेस करना
- विफल चरणों को फिर से प्रयास करना (retrying failed steps)
एक ही छोटे उत्तर वाले दो कार्यों की लागत अलग-अलग हो सकती है यदि एक कार्य में पूरे रिपॉजिटरी को पढ़ने की आवश्यकता हो और दूसरे में केवल एक फाइल पढ़ने की।
- इमेज जनरेशन एक स्वीकृत इमेज की लागत एक API कॉल की लागत नहीं है। यदि किसी यूजर को अपनी पसंद की एक इमेज पाने के लिए 2.4 प्रयासों की आवश्यकता होती है, तो आपकी लागत दोगुनी से भी अधिक हो जाती है।
इन लागतों को प्रबंधित करने के लिए, आपको विस्तृत रिकॉर्ड की आवश्यकता होती है। टेक्स्ट के लिए, रिक्वेस्ट ID, टोकन और रिट्राइज़ को ट्रैक करें। मीडिया के लिए, जॉब ID और विफलता के चरणों (failure stages) को ट्रैक करें।
मैं लागत नियोजन (cost planning) को चार परतों में विभाजित करता हूँ:
- प्रोवाइडर प्राइसिंग (यूनिट रेट्स)
- प्रोडक्ट यूसेज (यूज़र्स और रिक्वेस्ट्स)
- ऑपरेशनल रियलिटी (रिट्राइज़ और रिजेक्शन्स)
- बजट बफ़र्स (सेफ्टी मार्जिन)
कैलकुलेटर एक प्लानिंग टूल है। यह मॉडल की गुणवत्ता या भविष्य में कीमतों में होने वाले बदलावों की भविष्यवाणी नहीं कर सकता। इसका उपयोग एक बेसलाइन बनाने के लिए करें, फिर इसकी तुलना अपने वास्तविक बिलिंग डैशबोर्ड से करें।
स्रोत: https://dev.to/cleandatadev/i-compared-the-real-cost-of-claude-code-openrouter-and-image-apis-1cip
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi