Whisper ve API Karşılaştırması: "Ücretsiz" bir model ne zaman en pahalı kalem haline gelir?

Ekibiniz AssemblyAI faturasını görür. Birisi sorar: "Para tasarrufu yapmak için neden Whisper'ı kendimiz barındırmıyoruz?"

Kulağa basit geliyor. Bir checkpoint indirin. Bir komut çalıştırın. Bir öğleden sonra içinde biter.

Ancak asıl soru şu: Önümüzdeki iki yıl boyunca bu endpoint'i çalıştırmanın maliyeti ne olacak?

API faturası neden ucuz görünüyor?

Yönetilen transkripsiyon servisleri, işlenen sesin saniyesi başına ücret alır. Örneğin AssemblyAI, asenkron hattından geçen her bir saatlik içerik için yaklaşık 0,15 $ – 0,21 $ fatura keser. Bu rakamlar pek çok işi gizler: Sağlayıcı çıkarım (inference) donanımını sürdürür, gürültülü sesi temizler, konuşmacıları ayırır, varlıkları (kredi kartı numaraları, e-postalar, doğrulama kodları) formatlar, sonuçları gerçek zamanlı olarak akış (stream) halinde sunar ve servisi 7/24 izler. Aldığınız fatura, tüm bunların basit bir saniyelik oran halinde paketlenmiş toplamıdır.

GPU fiyatı gerçekte ne anlama geliyor?

Whisper Large-v3, tek bir A100 veya H100 GPU üzerinde çalışabilir. Bulut sağlayıcıları bu kartları talep üzerine saatlik 2 $ – 4 $ olarak listeler. İşin püf noktası, çip boşta durduğunda bile tam saatlik ücreti ödemenizdir. İş yükünüz GPU kapasitesinin yalnızca %15'ini kullanıyorsa, yine de tam 2 $ – 4 $ tutarındaki ücretle karşılaşırsınız.

Üstlendiğiniz mühendislik borcu

Kendi kendine barındırma (self-hosting), bir model checkpoint'ini başlatmakla sınırlı kalmaz. Gizli iş yükü, ana donanım maliyetini hızla geride bırakır.

• Konuşmacı ayrıştırma (Speaker diarization) – Açık kaynaklı Whisper sesleri ayırmaz. Güvenilir bir ayrıştırma hattı oluşturmak; ayrı bir model, veri ve sürekli ince ayar (tuning) gerektirir.
• Akış (Streaming) desteği – Whisper dosyaları bütün olarak asenkron bir şekilde işler. Gerçek zamanlı altyazılar veya sesli asistan yanıtları; geri basınç (back-pressure) yönetimi ve gecikme izleme özelliklerine sahip özel bir akış katmanı gerektirir.
• Varlık formatlama (Entity formatting) – Ham transkriptler, hassas dizeleri maskelemek veya yeniden formatlamak için gerekli mantığa sahip değildir. Kredi kartı numaraları, e-posta adresleri veya OTP kodları için kurallar eklemek basit bir mühendislik çabası değildir ve tek bir yazım hatası transkripti kullanılamaz hale getirebilir.
• Güvenilirlik mühendisliği – Tek bir GPU üzerinde çalışan bir demo kolaydır; ancak bir üretim (production) servisi eşzamanlılık, yeniden denemeler, sıfır kesintiyle yükseltme ve uyarı sistemlerini yönetmek zorundadır.

Kendi kendine barındırma ne zaman gerçekten kazançlı olur?

Matematik yalnızca birkaç dar senaryoda değişir:

• Yoğun ve sürekli toplu işleme (batch processing) – Eğer bir GPU'yu aylarca %100'e yakın kullanımda tutacak kadar çok ses veriniz varsa, saatlik donanım ücreti devasa bir transkripsiyon hacmine amorti edilebilir ve bu da ses başına maliyeti API oranından daha düşük hale getirir.
• Katı veri gizliliği zorunlulukları – Ses verilerinin kurum dışına çıkmasını yasaklayan düzenlemeler, maliyet ne olursa olsun işlemi kurum içinde tutmanızı zorunlu kılar.
• Prototipleme için tam model kontrolü – Whisper'ın mimarisini, istemlerini (prompts) değiştirmeyi veya tescilli veriler üzerinde ince ayar yapmayı gerektiren erken aşama deneyler, checkpoint'e doğrudan sahip olmaktan faydalanır.

Bu durumların dışında, "ücretsiz" model en pahalı kalem haline gelir; çünkü gizli mühendislik borcu ve düşük kapasiteli GPU kullanım süresi, mütevazı API saniyelik ücretini hızla gölgede bırakır.

Özet: Whisper'ın sıfır lisans ücreti caziptir, ancak toplam sahip olma maliyeti; GPU fiyatlandırmasını, boşta geçen süreyi ve çoğu ekibin zaten transkripsiyon API'larına dış kaynak olarak verdiği bir dizi mühendislik görevini içerir. Yalnızca donanımı tam kapasiteyle kullanabildiğinizde, verileri yerinde (on-prem) tutmanız gerektiğinde veya derin model kontrolüne ihtiyaç duyduğunuzda kendi kendine barındırma daha ucuz bir yol haline gelir. Aksi takdirde, "ücretsiz" model muhtemelen transkripsiyon bütçenizin en pahalı parçası olacaktır.