SWE-Prime, özenle seçilmiş %10'luk bir "pass" çalışması üzerinde eğitimin, her başarılı yörüngeyi (trajectory) modele beslemekten daha güçlü yapay zeka ajanları ürettiğini göstererek, "pass" etiketini güvenilir bir kalite filtresi olarak görme yönündeki köklü alışkanlığı sorguluyor.

Bu sonuç, kod üretimi veya otomatik hata ayıklama (debugging) ajanları geliştiren herkes için kritik öneme sahiptir: Daha fazla veri, otomatik olarak daha iyi performans anlamına gelmez ve ikili bir pass/fail (geçti/kaldı) bayrağına körü körüne güvenmek, modellerin rastgele dolaşmayı, gereksiz araç çağrılarını tekrarlamayı ve muhakeme yerine şansa güvenmeyi öğrenmesine neden olabilir.

"Pass" bayrağına neden güveniliyordu

Çoğu insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) hattında mühendisler, nihai sonuç test kriterlerini karşıladığında bir yörüngeyi (gözlemler, eylemler ve araç çağrılarından oluşan tam bir dizi) "pass" olarak etiketler. Varsayım basittir: Eğer ajan başarılı olduysa, tüm bölüm (episode) yararlı davranışlar içermelidir. Bu nedenle, modelin başarıya götüren kalıpları özümsemesini umarak, geçen her çalışmayı eğitim havuzuna boşaltırlar.

Bu varsayım, aylardır yazılım mühendisliği (SWE) ajanları için büyük ölçekli veri toplama süreçlerine yön verdi. Mantık sağlam görünüyor: Bir "pass", ajanın sorunu çözdüğünü gösterir, dolayısıyla bölüm, bunu gerçekleştiren politikaları pekiştirmelidir.

SWE-Prime neyi farklı yaptı

SWE-Prime çalışması ezber bozdu. Araştırmacılar, standart bir kod yazma görevleri kıyaslamasını (benchmark) aldı ve başarılı çalışmaları iki gruba ayırdı:

  1. Tüm pass yörüngeleri – testi geçen her bölümü içeren geleneksel eğitim seti.
  2. Özenle seçilmiş %10'luk bir alt küme – tam setten elle seçilmiş olanlar.

Her iki grup da özdeş model mimarileri üzerinde ince ayar (fine-tuning) yaptı. Test edilmek üzere ayrılan (held-out) problemler üzerinde değerlendirildiğinde, özenle seçilmiş alt küme üzerinde eğitilen model, tam pass seti üzerinde eğitilen rakibinden daha iyi performans gösterdi.

"Pass" etiketini bozan kalıplar

Çalışma, bir "pass" bayrağının arkasına gizlenmiş birkaç tekrarlanan başarısızlık modunu katalogladı:

  • Tekrarlanan araç bombardımanı (tool spamming) – bir ajan, nihayetinde doğru çıktıyı almadan önce aynı derleyiciyi veya linter'ı onlarca kez kullanabilir. Nihai başarı, verimsizliği maskeler.
  • Uzun dolambaçlı aşamalar – ajanlar bazen doğru çözüme ulaşmadan önce beş veya daha fazla ilgisiz adım keşfeder. Bölüm yine de "pass" ile sonuçlanır, ancak yörüngenin çoğu eğitici bir değer sunmaz.
  • Basit testler – bazı kıyaslamalar o kadar kolaydır ki bir ajan tek bir tahminle veya bir boşluktan yararlanarak başarılı olabilir. "Pass" etiketi, gerçek muhakeme ile şans arasındaki farkı ayırt etmez.

Bu tür bölümler eğitim döngüsüne tekrar girdiğinde, model rastgele dolaşmayı ve araçların aşırı kullanımını başarıyla ilişkilendirmeyi öğrenir. Sonuç olarak ajan, verimlilik ve yorumlanabilirlik gerektiren üretim seviyesindeki (production-grade) sistemler için istenmeyen bir "bir şey çalışana kadar denemeye devam et" sezgisini (heuristic) içselleştirir.

Segment düzeyinde kaliteye karşı yörünge düzeyinde sonuç

SWE-Prime'dan elde edilen temel içgörü, bir yörüngenin genel sonucu ile onu oluşturan segmentlerin kalitesi arasındaki ayrımdır. Bir yörünge kaba bir etikettir: size nihai cevabın doğru olup olmadığını söyler ancak dahili karar verme sürecini gizler. Çalışma şunları gözlemledi:

  • İyi yörüngeler kötü segmentler içerebilir – normalde verimli olan bir çözüm, nihai cevaba katkıda bulunmayan birkaç boşa harcanmış adım içerebilir.
  • Başarısız yörüngeler parlak segmentler gizleyebilir – bir ajan, ilgisiz bir hata testi başarısızlığa uğratmadan önce mükemmel şekilde muhakeme edilmiş bir plan oluşturabilir.

Araştırmacılar, tüm çalışmaları puanlamak yerine segmentleri puanlayarak, ajanın ilk adımdan itibaren niyetle hareket ettiği bölümleri korudu ve geri kalanını eledi. Bu, eğitim sinyalini modellerin gerçekten taklit etmesini istediğimiz muhakeme kalıplarıyla uyumlu hale getirir.

Maliyet ve hız avantajları

Verinin onda biri üzerinde eğitim yapmak, hesaplama maliyetlerini de çarpıcı biçimde düşürdü. Ekip çok daha az GPU saatine ihtiyaç duydu ve işlem hattı (pipeline), tam pass seti için gereken sürenin çok küçük bir kısmında tamamlandı. Paradoks çarpıcıdır: Daha yüksek performans elde ederken, hesaplama için daha az ödediler. Kısıtlı bütçeleri veya büyük ölçekli yaygınlaştırma hedefleri olan kuruluşlar için tasarruf azımsanmayacak düzeydedir.

Kürasyon zorluğu

Bu yaklaşımı benimsemenin önündeki en büyük engel, neyin "iyi segment" sayılacağını tanımlamaktır. SWE-Prime ekibi, pahalı bir ödül modeli (reward model) olmadan segmentleri puanlamanın zor olduğunu ve akıllı, hafif bir metrik gerektirdiğini belirtti.

Sonuç

SWE-Prime, ikili bir “testten geçti” bayrağının eğitim verileri için güvenilmez bir filtre olduğunu kanıtlıyor. Dolambaçlı bölümleri, gereksiz araç çağrılarını ve aşırı derecede kolay süreçleri ayıklayarak geliştiriciler, hesaplama maliyetlerini düşürürken daha yetkin ve verimli ajanlar eğitebilirler. Ders net: Kalite, miktardan daha önemlidir ve daha akıllı yapay zeka ajanlarına giden yol, her bir adımın gerçekte ne kattığının ayrıntılı bir şekilde değerlendirilmesinden geçer.