Tek başına çalışan bir geliştiricinin üç Claude modeliyle yaptığı deney, aylık API maliyetlerini %35 oranında düşürürken, görevlerdeki medyan gecikme süresini 42 saniyeden 27 saniyeye indirdi. Basit ve düşük belirsizliğe sahip işleri ucuz Haiku modeline, rutin işleri Sonnet'e yönlendirip, ağır sıklet Opus'u ise kritik problemler için saklayarak yazar, "her şey için en iyi model" yaklaşımının maliyetli bir alışkanlık olduğunu kanıtladı.
Yönlendirmenin önemi neden büyüktü
Yazar; lint düzeltmeleri, özellik eklemeleri, güvenlik incelemeleri ve derin hata ayıklama (debugging) oturumları gibi sürekli bir geliştirme görevi akışı alan otonom bir kodlama ajanı çalıştırıyor. Aylar boyunca ajan, yüksek kalitenin her zaman fiyattan daha önemli olacağını varsayarak her isteği en yetenekli Claude modeli olan Opus'a gönderdi. Opus, token başına yüksek bir fiyat talep ettiğinden, faturalar kontrolsüz bir şekilde büyüdü.
Yazar kademeli bir yönlendirme şeması uygulamaya koyduğunda, harcamalar orijinal seviyesinin %65'ine geriledi ve Opus kullanımı toplam görevlerin %11'ine düştü.
Üç kademeli sistem nasıl çalışıyor
Yönlendirme mantığı, bir görevin kaç satır koda dokunduğuna değil, belirsizliğe dayanıyor. Yazar üç kategori tanımladı:
- Haiku – düşük belirsizliğe sahip, deterministik işler. Örnekler: lint uyarılarını düzeltme, değişkenleri yeniden adlandırma, günlük (log) dosyalarını özetleme. Doğru cevap genellikle tek bir satır kod veya metindir.
- Sonnet – varsayılan iş gücü. Problemin net olduğu ancak çözümün birkaç adım gerektirebileceği özellik uygulamalarını, rutin hata düzeltmelerini ve standart refaktörleri yönetir.
- Opus – yüksek riskli, yüksek belirsizliğe sahip işler. Mimari kararlar, güvenlik denetimleri, karmaşık hata ayıklama oturumları veya doğru yolun belirsiz olduğu ve yapılacak bir hatanın iş akışını (pipeline) bozabileceği her türlü görev.
Statik bir arama tablosu, gelen her isteği bu kurallara göre uygun modele eşler. Yazar, kademeyi anlık olarak belirleyecek "akıllı" bir model denedi ancak fazladan token kullanımı tüm tasarrufu yok etti. Basit statik kurallar iş yükünün yaklaşık %80'ini kapsadı ve sistemi ucuz ve öngörülebilir tuttu.
Yükseltme (Escalation) güvenlik ağı
Ucuz modeller hala hata yapabiliyor. Hatalı bir Haiku veya Sonnet yanıtının derleme sürecini aksatmasını önlemek için sistem, iki başarısızlıktan sonra isteği bir üst kademeye yükseltir. Bu güvenlik ağı, hataları erkenden yakalar ve manuel müdahale gerektirmeden iş akışının sorunsuz bir şekilde devam etmesini sağlar.
Kendi adına konuşan rakamlar
Kademeli yönlendiricinin dört haftalık çalışmasının ardından yazar şu değişiklikleri kaydetti:
- API harcaması orijinal maliyetin %65'ine düştü (%35 azalma).
- Medyan tamamlanma süresi 42 saniyeden 27 saniyeye geriledi.
- Opus kullanımı, her isteği işlemekten toplam görevlerin yalnızca %11'ini karşılamaya düştü.
Bu rakamlar, çoğu geliştirme işinin kalitede gözle görülür bir düşüş olmadan daha ucuz modellere devredilebileceğini, en zor problemlerin ise hala Opus'un daha geniş bağlam penceresinden (context window) yararlanabileceğini gösteriyor.
Diğer geliştiriciler için dersler
- Yüksekten değil, düşükten başlayın. Günlük kodlama işlerinin çoğu en güçlü modele ihtiyaç duymaz. Belirsiz görevler için varsayılanı Sonnet yapmak, her şeyi Haiku üzerinden geçirmekten daha fazla tasarruf sağladı.
- Boyutu değil, zorluğu ölçün. Tek satırlık bir race condition (yarış durumu) düzeltmesi, koca bir dosyayı refaktör etmekten daha zor olabilir. Yönlendirmeyi değiştirilen satır sayısına göre değil, çözümün ne kadar belirsiz olduğuna göre yapın.
- Yükseltme oranını takip edin. Artan yükseltme sayısı, statik kuralların artık iş yüküyle eşleşmediğinin sinyalidir. Ucuz modeller iş akışında daha fazla hataya neden olmaya başlamadan önce kategorileri ayarlayın.
En pahalı modeli en zor problemler için ayırmak ve geri kalanını daha ucuz modellere bırakmak, yapay zeka destekli geliştirmeyi hızlı ve uygun maliyetli tutar. Asıl avantaj, doğru aracı doğru işe eşleyen disiplinli bir yönlendirme stratejisinde yatar.