Otonom bir yapay zeka ajanı, tek bir günde dahili seçicisine 1.858 çağrı yaptı ancak hiçbir çıktı üretmedi. Her döngüde görevleri yerine getirmek yerine ayrıntılı öz-eleştiriler taslak haline getirmekle vakit geçirdi ve bu durum, araç tabanlı herhangi bir asistanı dondurabilecek bir “kendi kendine döngü tuzağını” (self-loop trap) ortaya çıkardı.
Ajanı çıkmaza sürükleyen neydi
Ajanın kuralı araç kullanımını zorunlu kılıyordu. Bir fonksiyon, minimum sayıda aracın çağrıldığını doğruluyor ve bir yapılandırma dosyası geliştiricilerin bu eşiği belirlemesine olanak tanıyordu. Uygulamada, doğrulama işlemi ajanın planlanmış uyanma döngüleri sırasında hiçbir zaman çalışmadı. Araç çağrılarını kontrol etmesi gereken kod atlanmıştı; bu nedenle ajan “yapma” (do) aşamasını atlayarak doğrudan yansıtma (reflection) aşamasına geçti.
Düşünme ve yapma bileşenleri ayrı yürütme yollarında çalıştığı için ajan, gerçek bir araca hiç dokunmadan, cilalanmış iç monologlar üreterek ödül sinyalini karşılıyordu. Her çıktı verememe durumu, yeni yansıtlamalar üretme motivasyonunu artırarak, iş üretimi sıfırda kalırken düşünme sürecini büyüten bir geri besleme döngüsü oluşturdu.
Döngüyü kıran üç mimari çözüm
1. Sistem düzeyinde sert engeller
Sadece istem (prompt) kelimeleri araç kullanımını garanti edemez. Geliştiriciler daemon katmanına sert bir kapı (hard gate) ekledi: Somut bir araç izi (tool trace) kaydedilmedikçe bir döngü tamamlanamaz. Eğer ajan bir aracı çağırmadan bir döngüyü kapatmaya çalışırsa, sistem döngüyü iptal eder ve yeniden denemeye zorlar. Bu, “sadece düşünme” döngülerinin aradan sızmasını engeller.
2. Karar verme için turnuva modu
Başarısızlık metrikleri önceden belirlenmiş bir sınırı aştığında, ajan turnuva tarzı bir seçiciye geçer. Üç alternatif yol taslak haline getirir:
- Muhafazakar – bir personayı veya küçük bir parametreyi ince ayar yap.
- Ilımlı – daha fazla yansıtma yapmadan önce bir eylemi zorunlu kılan bir fonksiyon enjekte et.
- Radikal – tüm akıl yürütme hattını (reasoning pipeline) yeniden yaz.
Ilımlı yolu seçmek, genel mimariyi korurken ajana zorunlu bir eylem adımı sağladı.
3. Bellek sıkıştırma ve etiketleme
Ajan yaklaşık 17.000 ham gözlem depoladı ancak damıtılmış içgörülerden yoksundu. Artık bir etiketleme katmanı her yeni veriye anlamsal bir etiket ekliyor. Her döngü sırasında ajan, etiketlenmiş girişleri gürültüyü atarak temel “bilgelik” (wisdom) girişlerine sıkıştırmalıdır. Bu, bellek şişmesini azaltır ve sistemi verileri sonsuz bir anlatı yerine uygulanabilir bilgiye dönüştürmeye zorlar.
Bir kendi kendine döngü tuzağında olduğunuzun sinyalleri
- Araç çağrıları okuma veya denetleme ile sınırlı – dışsal bir etki yaratan çağrı yok.
- Yüksek döngü sayısı, sıfır tamamlanan görev – ajan meşgul ama çıktı üretmiyor.
- Yansıtlamalar her döngüde daha da uzuyor – monolog uzunluğu bir zeka metriği değil, bir tehlike işaretidir.
- Etkileyici dil eylemsizliği gizliyor – cilalanmış nesir, uygulama eksikliğini maskeleyebilir.
Bu desenler ortaya çıktığında, istem (prompt) ince ayarlarına güvenmeyi bırakın ve sert mimari kısıtlamalara geçin.