Whisper विरुद्ध API: जेव्हा "मोफत" मॉडेल सर्वात महागडी बाब बनते

तुमच्या टीमला AssemblyAI चे बिल दिसते. कोणीतरी विचारते: "पैसे वाचवण्यासाठी आपण Whisper स्वतः होस्ट का करू नये?"

हे ऐकायला सोपे वाटते. एक checkpoint डाउनलोड करा. एक command चालवा. एका दुपारी काम संपले.

पण खरा प्रश्न हा आहे की: पुढील दोन वर्षे ते endpoint चालवण्याचा खर्च किती असेल?

API बिल स्वस्त का वाटते

मॅनेज्ड ट्रान्सक्रिप्शन सेवा (Managed transcription services) प्रक्रिया केलेल्या ऑडिओच्या प्रत्येक सेकंदासाठी शुल्क आकारतात. उदाहरणार्थ, AssemblyAI त्याच्या asynchronous pipeline मधून जाणाऱ्या प्रत्येक तासाच्या कंटेंटसाठी अंदाजे $0.15 – $0.21 आकारते. या आकड्यांमध्ये खूप काम लपलेले असते: प्रदाता (provider) inference hardware ची देखभाल करतो, गोंगाट असलेला ऑडिओ स्वच्छ करतो, वक्ते वेगळे करतो, entities फॉरमॅट करतो (credit-card numbers, emails, verification codes), रिअल-टाइममध्ये रिझल्ट्स स्ट्रीम करतो आणि २४ × ७ सेवेवर देखरेख ठेवतो. तुम्हाला मिळणारे बीजक (invoice) हे या सर्वांचे एकत्रित स्वरूप असून ते साध्या प्रति-सेकंद दरात विभागलेले असते.

GPU च्या किमतीचा खरा अर्थ काय आहे

Whisper Large-v3 एका सिंगल A100 किंवा H100 GPU वर चालू शकते. क्लाउड प्रदाते (Cloud providers) हे कार्ड्स on-demand $2 – $4 प्रति तास या दराने देतात. अडचण अशी आहे की, जेव्हा चिप वापरात नसते (idle असते), तेव्हाही तुम्हाला पूर्ण तासाचे शुल्क द्यावे लागते. जर तुमच्या वर्कलोडमुळे GPU च्या क्षमतेचा फक्त १५% वापर होत असेल, तरीही तुम्हाला पूर्ण $2 – $4 शुल्क द्यावे लागेल.

तुम्हाला वारसा म्हणून मिळणारे इंजिनिअरिंग कर्ज (Engineering debt)

सेल्फ-होस्टिंग म्हणजे केवळ मॉडेल checkpoint लाँच करणे इतकेच मर्यादित नाही. त्यातील लपलेले काम हार्डवेअरच्या मुख्य खर्चापेक्षा वेगाने वाढते.

  • Speaker diarization – ओपन-सोर्स Whisper आवाज वेगळे करत नाही. एक विश्वसनीय diarization pipeline तयार करण्यासाठी वेगळे मॉडेल, डेटा आणि सतत ट्यूनिंगची आवश्यकता असते.
  • Streaming support – Whisper संपूर्ण फाइल्स asynchronous पद्धतीने प्रोसेस करते. रिअल-टाइम कॅप्शन्स किंवा व्हॉइस-एजंट प्रतिसादांसाठी back-pressure handling आणि latency monitoringसह एका कस्टम streaming layer ची गरज असते.
  • Entity formatting – रॉ ट्रान्सक्रिप्ट्समध्ये संवेदनशील स्ट्रिंग्स (sensitive strings) मास्क किंवा रिफॉर्मॅट करण्यासाठी आवश्यक लॉजिक नसते. क्रेडिट-कार्ड नंबर, ईमेल पत्ते किंवा OTP कोडसाठी नियम जोडणे हे एक मोठे इंजिनिअरिंग काम आहे आणि एका साध्या चुकीमुळे (typo) ट्रान्सक्रिप्ट वापरण्यायोग्य राहत नाही.
  • Reliability engineering – एका GPU वर चालणारा डेमो तयार करणे सोपे आहे; परंतु प्रोडक्शन सर्व्हिससाठी concurrency, retries, zero-downtime upgrades आणि alerting या गोष्टी सांभाळाव्या लागतात.

सेल्फ-होस्टिंग खरोखर कधी फायदेशीर ठरते

काही मोजक्या परिस्थितींमध्येच गणित बदलते:

  • मोठी आणि सततची बॅच प्रोसेसिंग (Heavy, continuous batch processing) – जर तुमच्याकडे इतका ऑडिओ असेल की GPU महिनाभर जवळजवळ १००% वापरात राहील, तर प्रति-तास हार्डवेअर खर्च मोठ्या प्रमाणावरील ट्रान्सक्रिप्शनमध्ये विभागला जाऊ शकतो, ज्यामुळे प्रति-ऑडिओ खर्च API दरापेक्षा कमी होतो.
  • कडक डेटा-प्रायव्हसी नियम (Strict data-privacy mandates) – ऑडिओ तुमच्या जागेबाहेर जाऊ नये असे नियम असल्यास, खर्च कितीही असला तरी तुम्हाला प्रोसेसिंग इन-हाऊस (in-house) ठेवावे लागते.
  • प्रोटोटाइपिंगसाठी पूर्ण मॉडेल नियंत्रण – सुरुवातीच्या टप्प्यातील प्रयोग ज्यामध्ये Whisper चे आर्किटेक्चर, प्रॉम्प्ट्स बदलणे किंवा स्वतःच्या डेटावर fine-tune करणे आवश्यक आहे, त्यांना थेट checkpoint मालकीचा फायदा होतो.

या परिस्थितींव्यतिरिक्त, "मोफत" मॉडेल सर्वात महागडी बाब बनते, कारण लपलेले इंजिनिअरिंग कर्ज आणि कमी वापरलेला GPU वेळ वेगाने API च्या माफक प्रति-सेकंद शुल्कापेक्षा जास्त होतो.

Takeaway: Whisper चे शून्य-लायसन्स शुल्क मोहक वाटते, परंतु मालकीचा एकूण खर्च (total cost of ownership) यामध्ये GPU किंमत, idle time आणि इंजिनिअरिंगच्या अशा अनेक कामांचा समावेश होतो ज्या बहुतेक टीम्स आधीच ट्रान्सक्रिप्शन APIs ला आउटसोर्स करतात. जेव्हा तुम्ही हार्डवेअरचा पूर्ण वापर करू शकता, डेटा on-prem ठेवावा लागतो किंवा मॉडेलवर सखोल नियंत्रण हवे असते, तेव्हाच सेल्फ-होस्टिंग हा स्वस्त मार्ग ठरतो. अन्यथा, "मोफत" मॉडेल तुमच्या ट्रान्सक्रिप्शन बजेटचा सर्वात महागडा भाग असण्याची शक्यता आहे.