Gerçek zamanlı olarak birlikte çalışan beş Gemini 3.5 Flash ajanı, 30 soruluk bir Project Euler setinin %87'sini çözerek, tek başına çalışan beş ajanı (%72) ve her iki çoğunluk oylaması baz çizgisini (%80 tek başına, %90 iş birliğiyle) geride bıraktı. İş birliği yapılan çalışma aynı zamanda ortalama yürütme süresinden dört dakika tasarruf sağladı; problem başına süre 14 dakikadan 10 dakikaya düştü ve çoğu çözüm beş dakikanın altında tamamlandı.

Deney neden önemli

Yapay zeka kodlama asistanları halihazırda kod parçacıkları taslaklıyor, kodları hata ayıklıyor ve bütün programlar oluşturuyor. Araştırmacılar genellikle tek bir modeli bir istem (prompt) üzerinde test ediyor ve cevabını puanlıyor. Bu test ise farklı bir soru soruyor: Çalışırken bulgularını paylaşan bir ajan grubu, yalnızca bağımsız cevapları sayan bir "çoğunluğun bilgeliği" (wisdom of the crowd) yaklaşımından daha iyi performans gösterebilir mi?

Project Euler problemleri, algoritmik düşünme için standart bir kıstas (benchmark) görevi görür. Matematiksel içgörü ile verimli kodlamayı harmanlayarak, doğruluk ve hızın önemli olduğu gerçek dünya programlama görevleri için iyi bir temsilci olurlar.

Test nasıl kuruldu

  • Ajanlar: Antigravity platformu üzerinden erişilen beş Gemini 3.5 Flash örneği.
  • Senaryolar:
    1. Her bir ajan, her problemi tek başına ele aldı ve kendi cevabını raporladı.
    2. Aynı beş ajan, ara sonuçları yayınlayarak ve birbirlerinin adımlarını onaylayarak gerçek zamanlı olarak iş birliği yaptı.
    3. Her iki kurulum için de basit bir çoğunluk oylaması birleştiricisi (aggregator), beş bağımsız cevabı bir araya getirdi.
  • Metrikler: Doğruluk (doğru cevapların yüzdesi) ve çalışma süresi (problem başına ortalama süre ve tamamlanma sürelerinin dağılımı).

Rakamlar neyi ortaya koyuyor

  • Tek başına doğruluk: %72
  • İş birliğiyle doğruluk: %87
  • Tek başına çoğunluk oylaması doğruluğu: %80
  • İş birliğiyle çoğunluk oylaması doğruluğu: %90

Çalışma süresi, tek başına çalışan ajanlar için ortalama 14 dakikadan, iş birliği yapan grup için 10 dakikaya düştü. İş birliği yapılan çalışmaların çoğu beş dakikanın altında tamamlanırken, tek başına yapılan denemeler sıklıkla 30 dakikalık zaman aşımı sınırına takıldı.

Aradaki farkı açıklayan temel gözlemler

  • Bir kişi için imkansız, birçok kişi için mümkün – Tek bir problemde tüm tekil ajanlar başarısız oldu, ancak iş birliği yapan ekip kısmi sonuçları paylaştı ve toplu olarak doğru cevaba ulaştı.
  • Çapraz kontrol yoluyla hata yakalama – Bireysel ajanlar bazen mantıksal tuzaklara düştü; grup, notları gerçek zamanlı olarak karşılaştırarak bu hataları yakaladı.
  • Hızlı yakınsama – Herhangi bir ajan kritik bir ara değer keşfettiğinde, bu bulguyu yayınlayarak diğerlerinin gereksiz işleri atlamasını ve nihai çözüme daha hızlı ulaşmasını sağladı.

Gizli maliyetler ve sınırlar

Deneyde sadece beş ajan kullanıldı; aynı verimliliğin onlarca veya yüzlerce ajana ölçeklenip ölçeklenemeyeceği henüz belirsizliğini koruyor. Dahası, çoğunluk oylaması birleştiricisi yine de iyi performans gösterdi (%90 iş birliğiyle).

Sırada ne var?

  • Ölçeklendirme deneyleri – Yüz ajan doğruluğu artırmaya devam mı edecek, yoksa koordinasyon yükü (overhead) baskın mı gelecek?
  • Rol uzmanlaşması – Belirli görevlerin atanması (örneğin, bir ajanın sayı teorisine, diğerinin optimizasyona odaklanması), serbest biçimli iş birliğine kıyasla faydaları artırabilir.
  • Daha geniş kapsamlı kıstaslar – Aynı çerçevenin kod üretme zorluklarına, hata ayıklama paketlerine veya gerçek dünya yazılım yapılarına uygulanması, kazanımların matematiksel bulmacaların ötesinde de devam edip etmeyeceğini test edecektir.

Özet

Yapay zeka kodlama ajanları arasındaki gerçek zamanlı iş birliği, algoritmik görevlerde hem başarı oranlarını hem de hızı artırabilir; tek başına yapılan denemeleri ve hatta basit bir çoğunluk oylamasını geride bırakabilir. Bu yaklaşım gelecek vaat ediyor, ancak ölçeklenebilirliği ve maliyet etkinliği, gelecekteki araştırmaların yanıtlaması gereken açık sorular olarak kalmaya devam ediyor.

Kaynak: https://dev.to/ykdap/for-coding-agents-real-time-collaboration-beats-the-wisdom-of-the-crowd-1kj0