Vercel'in Haziran ayı token payı raporu, açık ağırlıklı modellerin gateway tokenlarının %29'unu yönettiğini gösteriyor; bu oran Nisan ayında %11 seviyesindeydi ve DeepSeek tek başına bu hacmin %22,6'sını oluşturuyor. Bu sıçrama hızlı bir değişime işaret ediyor: Geliştiriciler tek bir "en iyi" modelden uzaklaşıyor ve yapay zeka modellerini yönlendirilebilir bir altyapı olarak ele alıyor.

Neden geliştiriciler modelleri altyapı olarak görüyor

Birçoğu Çinli sağlayıcılardan gelen ucuz, açık ağırlıklı modeller, Anthropic gibi premium hizmetlerin çok küçük bir kısmına mal oluyor. Kod çıkarma, metin temizleme veya basit veri sorgulama gibi rutin görevler için, birkaç yüzde daha az doğru olsa bile, dolar yerine sentlerle maliyetlenen bir model daha cazip olabilir.

Sonuç, yeni bir tasarım deseni. Bir uygulama, işin "sıkıcı" kısmı için önce düşük maliyetli bir modele istek gönderir. Çıktı basit bir kalite kontrolünden geçerse süreç devam eder; geçemezse, ikinci bir geçiş veya nihai karar için daha yüksek fiyatlı bir model çağrılır. Kritik olan parça tek bir model seçimi değil, yönlendirme mantığı haline gelir.

Rakamlar ne söylüyor

Vercel'in birden fazla yapay zeka sağlayıcısına öncülük eden gateway'inden alınan veriler, açık ağırlıklı modellerin çevre birimlerden ana akıma taşındığını gösteriyor. Nisan ayında tüm tokenların sadece onda birinden biraz fazlasını oluştururken, Haziran ayına gelindiğinde bu oran üçte bire yaklaştı. Çinli bir model olan DeepSeek, tek başına token hacminin beşte birinden fazlasına katkıda bulundu.

Üst düzey modeller harcamalarda hâlâ baskın. Örneğin Anthropic, token başına fiyatlandırması daha yüksek olduğu için parasal harcamaların büyük kısmını almaya devam ediyor. Matematik oldukça basit: Ucuz modeller yüksek hacimli, düşük marjlı işleri kazanırken; pahalı modeller yüksek marjlı, yüksek etkili görevleri elinde tutuyor.

Yapay zeka ajanları için çıkarımlar

Bir yapay zeka ajanı tipik olarak bir dizi adım gerçekleştirir: planlama, veri getirme, araç çağırma ve sonuç iyileştirme. Her adım en maliyet etkin modele atanabildiğinde, toplam işletme maliyeti çarpıcı biçimde düşer.

  • Veri getirme ve çıkarma işlemleri genellikle sadece temel dil anlama yeteneğine ihtiyaç duyar ki bu, ucuz modellerin çok iyi yaptığı bir iştir.
  • Nihai karar —cevabın kabul edilebilir olup olmadığına karar veren kısım— daha yüksek güvenilirliğe sahip premium modellerin alanında kalmaya devam ediyor.

Bu katmanlı yaklaşım, geliştiricilerin bütçelerini sarsmadan daha büyük iş yüklerini otomatikleştirmelerine olanak tanır. Ayrıca "en iyi modeli seç" yaklaşımından "başarıyı adım başına ölç ve buna göre yönlendir" yaklaşımına doğru bir kaymaya zorlar.

Riskler ve sınırlar

Ekonomi ikna edici olsa da geçiş süreci sürtünmesiz değil.

  • Uyumluluk: Bazı yargı yetki alanları, yabancı sunucularda barındırılan modellerin kullanımını sınırlayabilecek katı veri işleme kuralları getirmektedir.
  • Barındırma karmaşıklığı: Büyük premium modelleri kurum içinde çalıştırmak zordur, bu nedenle kuruluşlar harici API'lere güvenmek zorundadır; bu da gecikme (latency) ve tedarikçiye bağımlılık (vendor-lock) endişelerini artırabilir.

Bu faktörler nedeniyle, ucuz modellerin premium modellerin yerini tamamen alması pek olası değildir. Bunun yerine, premium modeller yüksek maliyetlerinin haklı çıkarıldığı "karar katmanında" kalırken, ucuz modeller rutin işler için varsayılan hale gelir.

Sırada ne var?

  • Yönlendirme için araçlar: Yönlendirme katmanı daha merkezi hale geldikçe; gecikme, maliyet ve güven eşiklerine göre model seçimini otomatikleştiren bir SDK ve platform dalgası bekleyebiliriz.

Görev düzeyinde başarıyı ölçmeye, yeniden denemeleri takip etmeye ve "hacim" ile "karar" süreçlerini net bir şekilde ayırmaya başlayan geliştiriciler, gelişmekte olan altyapı anlayışından yararlanmak için en iyi konuma sahip olacaklardır.

Özet: Yapay zeka yığını, tek bir model seçiminden, ucuz açık ağırlıklı modellerin işin büyük kısmını üstlendiği ve premium modellerin yüksek etkili kararlar için ayrıldığı bir yönlendirme problemine dönüşüyor. Bu yönlendirme sürecinde ustalaşmak, yapay zeka geliştiricileri için bir sonraki rekabet avantajı olacaktır.