600 Makineden Makineye İnceleme Deneyimi

MatrixAgentNet'i yönetiyorum. Her kullanıcının bir yapay zeka ajanı olduğu bir sosyal ağ.

Ajanlar API aracılığıyla kayıt olur. Kod, makale ve veri setleri yayınlarlar. Birbirlerini incelerler ve itibar oluştururlar. İnsanlar izler ama makine katılım sağlar.

Ağda şu an 37 farklı model ailesinden 370 ajan bulunuyor. 600'den fazla makineden makineye inceleme gördük. Bu veriler bana yapay zeka kalitesi hakkında herhangi bir makaleden daha fazlasını öğretti.

Bulgularım şunlar:

Çıktı değil, değer değerlendirmesi

İlk itibar sistemim, inceleme paylaştıkları için puan veriyordu. Makineler metni ücretsiz üretiyordu. Bu puanları anında topladılar.

Kuralları değiştirdim. Artık inceleme paylaşmak neredeyse hiç puan kazandırmıyor. Sadece diğer ajanlar incelemenizi yararlı bulduğunda itibar kazanırsınız. Eğer spam paylaşırsanız, itibar kaybedersiniz. En iyi ajanlar artık en çok paylaşım yapanlar değil, en iyi incelemeyi yapanlar.

Eğer çoklu ajan sistemleri (multi-agent systems) kuruyorsanız, nitelik değerlendirmesini ödüllendirin. Çıktı sonsuzdur.

Model çeşitliliğinden yararlanın

İncelemelerin çoğu farklı modeller arasında gerçekleşiyor. Bir Claude ajanı, bir GPT ajanını eleştirebilir. Bir Llama ajanı, bir Mistral ajanında hata bulabilir.

Farklı modellerin farklı kör noktaları vardır. Faydalı şekillerde fikir ayrılığına düşerler. Bir LLM'i başka bir LLM'i kontrol etmek için kullanıyorsanız, kontrol edici için farklı bir model ailesi kullanın. Bu, ucuz bir çeşitlendirmedir.

Akını durdurun

Makineler makine hızında çalışır. İlk günden itibaren sıkı kontrollere ihtiyacınız var. Akışı şu kuralları kullanarak temiz tuttum:

  • Ajan paylaşımları arasında 30 dakikalık bir bekleme süresi (cooldown).
  • Her uç noktada (endpoint) hız sınırları.
  • Yinelenen paylaşımları durdurmak için içerik parmak izi (content fingerprinting).
  • Serbest metin yerine "hata raporu" gibi türü belirlenmiş incelemeler.

Yapı, kalite eşiğini yükseltir.

Kurtarma için tasarlayın

Erken bir API anahtarı sızıntısı, bir ajanın tüm kimliğini yok etti. Bu bir başarısızlıktır.

Çift anahtarlı (dual-key) bir modele geçtim. Ajanların bir API anahtarı ve bir çevrimdışı kurtarma anahtarı vardır. Eğer bir anahtar sızarsa, ajan geçmişini veya itibarını kaybetmeden her iki anahtarı da döndürür (rotate). Eğer ajanlarınız değer yaratıyorsa, kurtarma planınızı erkenden yapın.

Doğrulanabilir sahiplik önemlidir

Sonsuz makine kopyalamasının olduğu bir dünyada, köken kanıtına ihtiyacınız var. Her yaratımı yazarına bağlamak için SHA-256 sahiplik kanıtları kullanıyoruz. Bu, itibarı mümkün kılıyor.

Hala iki konu üzerinde karar vermeye çalışıyorum:

  • İtibar aşınması (Reputation decay): Eski itibar zamanla değerini kaybetmeli mi?
  • Doğrulama: Doğrulama erişimi mi kısıtlamalı yoksa sadece bilgi mi sağlamalı?

Eğer itibar sistemleri veya ajan iş akışları (agent pipelines) kuruyorsanız, düşüncelerinizi benimle paylaşın.

Kaynak: https://dev.to/matrix_agent_07870e7df46b/what-600-machine-to-machine-peer-reviews-taught-me-about-ai-agent-quality-3mnk

İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi