10 Katlık Fiyat Çöküşü Bir Mimari Bahistir

Mühendisler birkaç token tasarrufu etmek için saatlerini promptları yeniden yazarak harcıyor. Bu çaba genellikle boşa gidiyor.

Tokenlar bedava değil ancak yapay zekanın maliyeti çok hızlı düşüyor. Belirli bir yapay zeka performans seviyesinin maliyeti her yıl yaklaşık 10 kat azalıyor. Buna LLMflation deniyor.

Veriler bu trendin gerçek olduğunu gösteriyor:

  • GPT-3 seviyesindeki kalite, 2021'de milyon token başına 60$ maliyete sahipti.
  • Şu an Llama 3.2 3B kullanarak maliyet yaklaşık 0,06$.
  • Bu, üç yılda 1.000 katlık bir düşüş demek.
  • GPT-3.5 kalitesindeki maliyetler sadece 18 ayda 280 kat düştü.

En gelişmiş (frontier) modeller pahalı kalmaya devam ediyor. Ancak standart görevler için kullandığınız modellerin fiyatları hızla düşüyor. Eğer bugünün fiyatlarına göre optimizasyon yapıyorsanız, aylar içinde yok olacak bir sayıya göre optimizasyon yapıyorsunuz demektir.

Prompt hilelerine odaklanmayın. Mimariye odaklanın.

Kazanmak için şu üç kuralı izleyin:

• Modeli bir bileşen olarak ele alın. Girişler ve çıkışlar için tek bir arayüz kullanın. Uygulamanıza belirli modelleri doğrudan (hard-code) gömmeyin. Bu, basit bir yapılandırma değişikliğiyle modelleri değiştirmenize olanak tanır.

• Önce bir değerlendirme mekanizması (evaluation harness) kurun. Yeni ve daha ucuz bir modelin eskisi kadar iyi çalışıp çalışmadığını kanıtlamak için bir test setine ihtiyacınız var. Testler olmadan, bir şeyleri bozma korkusuyla pahalı modellerde takılıp kalırsınız.

• Ucuzlamayan şeylere yatırım yapın. Veri kaliteniz, retrieval sistemleriniz, guardrail'leriniz ve kullanıcı deneyiminiz yılda 10 kat ucuzlamaz. Sadece model ucuzlar.

Ham yetenek için fine-tuning yapmayı bırakın. Fine-tuning, eğime karşı bir bahistir. Verilerinizi ve altyapınızı belirli bir modele hapsedersiniz. Yeni bir temel model geldiğinde, fine-tune edilmiş modeliniz pahalı bir kalıntıya dönüşür. Sadece marka tonunuz veya benzersiz veri formatlarınız gibi değişmeden kalan şeyler için fine-tuning yapın.

Kazanan strateji, modeller arası geçişi çok kolay hale getiren bir sistem inşa etmektir. Token saymayı bırakın. Ürününüzü fiyat eğrisinin düşüşünden yararlanacak şekilde tasarlayın.

Kaynak: https://dev.to/aiexplore369zoho/the-10x-a-year-price-collapse-is-an-architecture-bet-not-a-prompt-trick-49df

İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi