Yaklaşımımı Değiştirene Kadar AI Entegrasyon Maliyetim Çok Yüksekti
Fatura gelene kadar AI özetleme özelliğime bayılıyordum.
Geçen ay, uzun makaleleri özetleyen bir araç geliştirdim. Basit bir istemle (prompt) GPT-4 kullandım. Kusursuz çalışıyordu. Kullanıcılar kaliteye bayıldı.
Sonra fatura geldi. Bir aylık kullanım bana 1.200 dolardan fazla maliyet çıkardı. Bunu ya düzeltmeliydim ya da özelliği tamamen kaldırmalıydım.
Bunu düzeltmek için birkaç şey denedim:
- GPT-3.5-turbo'ya geçtim. Maliyet düştü ancak kalite de azaldı. Özetler belirsizleşti.
- Prompt engineering denedim. "Spesifik ol" ifadesini eklemek yeterince yardımcı olmadı.
- Çıkarımsal (extractive) kütüphaneler kullanarak girdi boyutunu azaltmayı denedim. Bu işe yaradı ama maliyetler yine de yüksek kaldı.
Küçük bir çivi için balyoz kullandığımı fark ettim.
Çözüm, iki aşamalı bir iş akışıdır (pipeline). En iyi sonuçları almak için iki farklı yöntemi birleştiriyorsunuz.
1. Adım: Çıkarımsal (Extractive) Aşama Makaleden en önemli 5 ila 10 cümleyi seçmek için TextRank gibi ucuz ve hızlı bir araç kullanın. Bu, gereksiz metnin %90'ını temizler.
2. Adım: Soyutlayıcı (Abstractive) Aşama Sadece o birkaç cümleyi GPT-3.5-turbo gibi küçük ve ucuz bir modele gönderin. Bu cümleleri temiz, 3 maddelik bir özete dönüştürmesini isteyin.
Bu yaklaşım maliyetlerimi %80 oranında düşürdü. Model sadece en önemli verileri işlediği için kalite GPT-4 seviyesine yakın kaldı.
AI projeleriniz için diğer ipuçları:
- Önbelleğe alma (caching) kullanın. Aynı özet için iki kez ödeme yapmamak için sonuçları makale hash'ine göre saklayın.
- Katmanlar kullanın. Karmaşık görevleri daha küçük ve daha ucuz alt görevlere bölün.
- Bir yedek plan (fallback) belirleyin. Eğer bir makale çok karmaşıksa, GPT-4 gibi yüksek kaliteli bir modeli yalnızca bu özel durumlar için kullanın.
Pahalı modellere devasa metin blokları göndermeyi bırakın. Önce veriyi küçültün.
Ürünlerinizde yapay zeka kalitesi ve maliyeti arasındaki dengeyi nasıl kuruyorsunuz? Farklı görevler için farklı modeller mi kullanıyorsunuz?