Günlük İşleriniz İçin En Gelişmiş Yapay Zekaya İhtiyacınız Var mı?
Her hafta yeni yapay zeka modelleri geliyor. İnsanlar benchmark değerlerini ve kodlama puanlarını tartışıyor. Hepimiz heyecanlanıyoruz.
Ama ben farklı bir soru sormaya başladım. Günlük görevleriniz için gerçekten en gelişmiş modele ihtiyacınız var mı?
Bunu geçenlerde test ettim. Bir kod refaktörleme görevi için iki modeli karşılaştırdım.
- Sonnet 76,1 kredi tuttu.
- Haiku 13,3 kredi tuttu.
Haiku 5,7 kat daha ucuzdu. Pahalı olan modelin kazanmasını bekliyordum. Ama kazanmadı.
Haiku daha iyi bir sonuç verdi. Kodu üç temiz dosyaya böldü. Kodlama standartlarımıza Sonnet'ten daha iyi uydu. Daha ucuz ve daha etkiliydi.
Daha büyük ve daha pahalı olması, daha iyi olduğu anlamına gelmez.
Model yeteneği sürecin sadece bir parçasıdır. Daha iyi sonuçlar almak için bir yapay zeka geliştirme çerçevesi (harness) kullanıyorum. Bu çerçeve şunları içerir:
• Depoya özel talimatlar • Kodlama standartları • Mimari rehberlik • Geliştirme iş akışları • Proje bağlamı • İnceleme beklentileri
Bu denetim mekanizmalarını (guardrails) oluşturduğunuzda, küçük modeller daha iyi performans gösterir. Model, iyi kodun nasıl göründüğünü tahmin etmez. Ortam ona söyler.
Çoğu mühendislik görevi araştırma problemi değildir. Refaktörleme, test yazma veya dokümantasyon oluşturma gibi görevler devasa bir model gerektirmez.
Hangi modelin en yüksek benchmark puanına sahip olduğunu sormayı bırakın. Bunun yerine şu soruları sorun:
- Görev tamamlandı mı?
- Sonuç bakımı kolay bir yapıda mı?
- Proje standartlarına uyuyor mu?
- Maliyete değdi mi?
- Ekip bunu düşük maliyetle ölçeklendirebilir mi?
Sorununuzu çözen en ucuz modeli kullanın.
Yapay zeka endüstrisi zekaya odaklanıyor. Siz ise çerçeve (harness) kalitesine odaklanmalısınız. Doğru bağlamı sağlarsanız, 5,7 kat daha ucuz bir model daha iyi sonuçlar verebilir.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi