Açık kaynaklı model API'ları nadiren sabit kalır. Novita ve StreamLake'in her ikisi de Büyük Dil Modellerine (LLM) erişim için aldıkları ücretleri güncelledi; eğer her iki platform üzerinden de üretim trafiği çalıştırıyorsanız, yeni rakamları hemen incelemeniz gerekiyor. Token ekonomisi, bir yapay zeka özelliğinin kârlı mı yoksa sızdıran bir musluk mu olacağına karar verir. Milyon token başına ücret değiştiğinde, aylık bulut harcamanız da onunla birlikte değişir.

Neden LLM Fiyatlandırması Sürekli Değişiyor

Yıllık sözleşmeli geleneksel yazılım lisanslarının aksine, çoğu LLM çıkarımı (inference) bir kamu hizmeti gibi faturalandırılır. Tükettiğiniz kadar ödersiniz ve bu genellikle token'lar ile ölçülür. Bir sağlayıcının fiyat listesi yaşayan bir belgedir. Temel GPU kümeleri ucuzladığında, yeni model ağırlıkları eskilerinin yerini aldığında veya bir platform kâr marjı üzerinden rekabet etmeye karar verdiğinde fiyatlar değişir.

Prototip oluştururken bu oynaklığı görmezden gelmek kolaydır. Günde birkaç bin token tüketen bir yan proje, yüzde yirmi oranındaki bir fiyat ayarlamasını fark etmeyecektir. Ancak üretim iş yükleri farklıdır. Müşteri odaklı bir sohbet botu, bir belge ayrıştırıcı veya bir kod oluşturma hattı her ay kolayca yüz milyonlarca token tüketebilir. Bu ölçekte, token başına fiyatlandırmadaki küçük bir değişim bile altyapı bütçenizi yeniden yazar.

Novita ve StreamLake'in her ikisi de bu yüksek değişimli fiyatlandırma ortamında faaliyet gösteriyor. Onlar sadece tek bir modeli yeniden satmıyor; tek bir çatı altında bir dizi açık ağırlıklı (open-weight) ve tescilli uç nokta (endpoint) barındırıyorlar. Tarifelerini güncellediklerinde, bu durum API'ları aracılığıyla entegre ettiğiniz her modelde dalgalanmalara yol açar.

Novita ve StreamLake Ne Yapıyor?

Her iki platform da çıkarım sağlayıcısı veya API ağ geçidi olarak işlev görür. Llama, Mistral, Qwen veya diğer modelleri kendi GPU'larınızda barındırmak yerine, isteklerinizi onların uç noktalarına gönderirsiniz. Standartlaştırılmış kimlik doğrulama, yük dengeleme ve bazen birkaç model ailesi arasında birleştirilmiş formatlama avantajlarından yararlanırsınız. Bunun karşılığında, ham hesaplama maliyetleri yerine platformun kâr eklenmiş oranını ödersiniz.

Fiyatlandırma sayfaları, giriş token'ları (prompt) ve çıkış token'ları (tamamlama) için ayrı oranlar listeler. Bazı modeller, daha büyük bağlam pencereleri (context windows) veya özelleştirilmiş varyantlar için ek ücretler de içerebilir. Birçok modeli bir araya getirdikleri için, Novita veya StreamLake'ten gelen tek bir fiyat güncellemesi aynı anda birden fazla uç noktayı etkileyebilir. Giriş yaptığınızda, geçen çeyrekte seçtiğiniz ucuz özetleme modelinin artık aynı platformdaki daha büyük bir alternatiften daha pahalı olduğunu görebilirsiniz.

Son Değişiklikler Faturanıza Nasıl Yansıyor?

Novita ve StreamLake'ten gelen son güncellemeler, birkaç modelin fiyat listesini değiştiriyor. Mevcut entegrasyonlarınızı denetlemezseniz, esasen yeni şartları görmeden kabul etmiş olursunuz. Fiyat değişiklikleri, Büyük Dil Modelleri için ödeme şeklinizi doğrudan ve ölçülebilir yollarla etkiler:

  • Token başına oranlar: Giriş ve çıkış maliyetleri birbirinden ayrışmış olabilir. Metin oluşturmak, metni okumaktan daha fazla hesaplama gerektirdiği için çıkış token'ları genellikle daha pahalıdır. Eğer sağlayıcı çıkış fiyatlarını orantısız bir şekilde artırdıysa, çok fazla metin üreten (verbose) herhangi bir uygulama maliyet artışıyla karşılaşacaktır.
  • Modele özgü ayarlamalar: Her uç nokta aynı anda hareket etmez. Popüler bir model ucuzlarken, niş bir varyant daha maliyetli hale gelebilir. Tabloyu kontrol etmeden, bütçeniz için yanlış uç nokta üzerinden trafik çalıştırıyor olabilirsiniz.
  • Kademeli veya hacim bazlı indirimler: Bazı sağlayıcılar, toplu indirimlerin devreye girdiği eşikleri ayarlar. Yakın zamanda daha yüksek bir hacim bandına geçtiyseniz, yeni fiyatlandırma size yardımcı olabilir veya güvendiğiniz bir indirimi ortadan kaldırabilir.

Kullandığınız kadar ödediğiniz için, harcamayı kontrol etmenin tek yolu iş yükünüzü mevcut fiyat yapısıyla eşleştirmektir. Eski fiyat listesi artık sadece geçmiş bir veridir.

Geliştiriciler İçin Pratik Bir Denetim

Son zamanlarda çıkarım harcamalarınızı gözden geçirmediyseniz, şimdi tam zamanı. Hasarı değerlendirmek ve sızıntıları gidermek için işte basit bir yol:

1. Kullanım günlüklerinizi çekin. Son otuz güne bakın. Giriş token'larını çıkış token'larından ayırın ve bunları model bazında bölün. Novita ve StreamLake üzerindeki çoğu panel bunu gösterir veya kendi istek günlüklerinizden bu verileri ayrıştırabilirsiniz.

2. Yeni fiyatlandırmayı uygulayın. Token sayılarınızı alın ve bunları güncellenmiş oranlarla çarpın. Bu rakamı, geçen ay eski fiyatlandırma altında ödediğiniz tutarla karşılaştırın. Aradaki fark, yeni aylık harcama hızınızdır.

3. Model değişimlerini değerlendirin. Kullandığınız bir model önemli ölçüde daha pahalı hale geldiyse, aynı platformdaki daha ucuz bir alternatifin kalite standartlarınızı karşılayıp karşılamadığını kontrol edin. Daha düşük parametreli bir modeli veya kuantize edilmiş (quantized) bir sürümü A/B testi ile deneyin. Bazen rutin görevler için doğruluk kaybı ihmal edilebilir düzeydedir.

4. Promptlarınızı sıkıştırın. Sistem promptları few-shot örnekleri veya uzun belgelerle şiştiğinde girdi maliyetleri artar. Bağlamı (context) enjekte etmeden önce özetlemeyi, max_token sınırlarını azaltmayı veya çalışma penceresini kısaltmak için retrieval yöntemini kullanmayı deneyin. Girdi tarafında tasarruf ettiğiniz her token, yeni tarifede tasarruf edilen paradır.

5. Bütçe uyarıları ayarlayın. Çoğu platform, günlük kullanım bir eşiği geçtiğinde harcama sınırları veya webhook uyarıları yapılandırmanıza olanak tanır. Eğer bunlar açık değilse, bir fiyat değişikliği faturalandırma döneminin ortasında sizi şaşırtabilir.

Fiyat Tarifelerindeki Küçük Yazıları Okuyun

Güncellenmiş fiyatlandırmayı incelerken, sadece ana başlıktaki milyon token başına düşen rakama bakmayın. Sağlayıcılar genellikle ayrıntıları dokümantasyonun derinliklerine gizlerler.

Bağlam önbelleğe alma (context caching) özelliğinin mevcut olup olmadığını kontrol edin. Bazı platformlar, uzun bir belgeyi önbelleğe almak için sabit bir ücret alır, ardından sonraki çağrılarda istek başına maliyeti düşürür. Eğer uygulamanız her seferinde aynı arka plan bağlamını tekrar okuyorsa, önbelleğe alma işlemi fiyat artışını nötralize edebilir.

Dolaylı olarak maliyet yaratan hız sınırlamalarına (rate limiting) dikkat edin. Yeni fiyatlandırma sizi daha yüksek bir throughput kademesine yönlendiriyorsa, kapasite rezerve etmeniz veya minimum taahhüt ödemeniz gerekebilir. Ayrıca, API'nin üretilen tokenlar üzerinden mi yoksa talep edilen tokenlar üzerinden mi faturalandırdığını teyit edin. Yanıt kesilse bile, maksimum uzunluk sınırına ulaşan bir istek size maliyet çıkarır.

Novita veya StreamLake üzerinden fine-tuned veya özel uç noktalar (private endpoints) kullanıyorsanız, barındırma ücretlerinin çıkarım (inference) ücretleriyle birlikte değişip değişmediğini doğrulayın. Aralıklı iş yükleri çalıştırıyorsanız, depolama ve cold-start maliyetleri token fiyatlandırmasını geçebilir.

Dayanıklı Bir Yapay Zeka Bütçesi Oluşturmak

Hiçbir tekil sağlayıcı tüm çıkarım bütçenizi rehin almamalıdır. Amaç, fiyat güncellemelerinin bir acil durum değil, rutin bir bakım olduğu sistemler inşa etmektir. Gecikme (latency) ve doğruluk gereksinimlerinize uyan alternatif modellerden oluşan güncel bir kısa listeniz olsun. İş mantığını (business logic) yeniden yazmadan uç noktaları değiştirebilmek için kod tabanınızda hafif soyutlama katmanları (abstraction layers) bulundurun.

Maliyet tek değişken değildir. Gecikme, kullanılabilirlik ve bağlam penceresi (context-window) boyutu da önemlidir. Ancak fiyat, uyarısız değişen değişkendir. Novita ve StreamLake'i sabit hizmetler yerine dinamik pazaryerleri olarak görerek bir adım önde kalırsınız.

Asıl Çıkarım

Ölçemediğiniz şeyi optimize edemezsiniz. Novita ve StreamLake'in yeni fiyat tarifeleri masada. Detayları buradan inceleyin, hesaplamalarınızı güncellenmiş maliyetlere göre yeniden yapın ve mevcut yapınızın hala finansal olarak mantıklı olup olmadığına karar verin. Denetleme için harcayacağınız birkaç saat, ileride finans departmanıyla yaşayacağınız çok daha büyük bir tartışmanın önüne geçecektir.

Sağlayıcılar genelinde çıkarım maliyetlerini takip eden diğer geliştiricilerle bilgi alışverişinde bulunmak isterseniz, GyaanSetu öğrenme topluluğu stratejileri karşılaştırmak için iyi bir yerdir. Fiyat değişiklikleri, ancak hazırlıksız yakalandığınızda can yakıcı olur.