AI ajanlarına araçlarını yeniden çalıştırmaları için açıkça izin verildiğinde, ajanların çarpıcı bir şekilde toparlandığı yazar tarafından keşfedildi; basit bir kelime değişikliği onarım başarı oranını 0,16'dan 1,00'e çıkardı. “Eylem lisanslama” (action-licensing) olarak adlandırılan bu sonuç, bir ajanı çalışmasını kontrol etmesi için teşvik etmenin, yalnızca hedefi yeniden belirtmekten çok daha etkili olabileceğini gösteriyor.

Bu düzeltme neden önemli?

Dış araçları (veritabanları, hesap makineleri, API'ler) çağırabilen yapay zeka asistanları, iş akışlarında giderek daha fazla kullanılmaktadır. Bu ajanlar hata yaptığında, hata genellikle sessizce yayılır ve bariz bir hata sinyali vermeden yanlış yanıtlar üretir. Tüm istemi (prompt) yeniden yazmadan müdahale etmenin güvenilir bir yolu, geliştiricilerin zaman kazanmasını sağlayabilir ve üretim sistemlerindeki maliyetli hataları önleyebilir.

Hatalar nasıl ortaya çıkıyor?

Yazar, düşük görünürlüğe sahip iki yaygın hata kalıbı gözlemledi:

  • Sorgu Atlaması (Skipped Lookup) – Ajan, bir bilgi parçasını (örneğin, bir ID'den yöneticinin adını) getirmesi gerektiğini bilir ancak sorgu aracını çağırmak yerine doğrudan uydurma bir yanıt üretir. Yüzeysel yanıt makul görünür, ancak olgusal temel eksiktir.

  • Doğrulanmış Saçmalık (Validated Nonsense) – Ajan, bir araca hatalı biçimlendirilmiş veya yanlış veri gönderir. Araç, bir hata fırlatmadan bir sonuç döndürür ve ajan bu sonucu bir onay olarak kabul ederek aslında kendi hatasını meşrulaştırmış olur.

Her iki kalıp da kullanıcıya kendinden emin ama yanlış bir yanıt sunar ve geliştiricilerin beklediği döngü veya eksik yanıt gibi alışılagelmiş belirtileri tetiklemez.

Deney

Farklı istemlerin onarımı nasıl etkilediğini ölçmek için yazar, kesin doğru yanıtların (ground-truth) kullanıldığı kontrollü bir test düzenledi (LLM tabanlı derecelendirme yapılmadı). İki tür yönlendirme karşılaştırıldı:

  1. Sadece hedef odaklı yönlendirme – “Yanıt, yönetici adı olmalıdır.” Kurtarma oranı: 0,16.

  2. Eylem lisanslama odaklı yönlendirme – “Yanıt, yönetici adı olmalıdır. Doğrulamak için araçları kullan.” Kurtarma oranı: 1,00 (tüm başarısız denemeler düzeltildi).

Tek fark, bir aracı yeniden çalıştırmak için verilen açık izindi. İkinci istem, ajanın geri dönebileceğini, eksik veriyi çekebileceğini ve önceki tahmininin üzerine yazabileceğini anlamasını sağladı. Bu izin, çoğunlukla etkisiz olan bir yönlendirmeyi, test edilen durumlar için garantili bir çözüme dönüştürdü.

Rakamlar neyi ifade ediyor?

0,16'dan 1,00'e olan sıçrama, düzeltme önündeki engelin ajanın hedefi anlamaması değil, eylem gösterme konusundaki algılanan özgürlüğü olduğunu gösteriyor. İstem modele “tekrar deneyebilirsin” dediğinde, model durumu bir çıkmaz sokak yerine yeni bir alt görev olarak ele alıyor ve araç çağırma zincirinin yeniden başlamasına olanak tanıyor.

Sadece istem tabanlı düzeltmelerin sınırları

Deney ayrıca, yalnızca istem kullanarak ajanın kurtarılamayacağı senaryoları da vurguladı:

  • Eğer bir sonraki aşamadaki (downstream) araç, hatalı girdiyi sessizce kabul edip bir değer döndürürse, ajanın verilerinin yanlış olduğuna dair hiçbir sinyali olmaz. Hiçbir yeniden ifade etme yöntemi hatayı tespit etmesini sağlamayacaktır; aracın kendisi girdi doğrulamasını uygulamalı veya bir hata fırlatmalıdır.

  • Araçları hiç çağırmakta zorlanan ajanlar, “araçları kullan” talimatından asla faydalanamayacaktır, çünkü temel yetenek eksiktir. Bu tür modellerde onarımı test etmek, istemin etkinliği ile modelin temel araç çağırma yeteneğinin değerlendirilmesini birbirine karıştırır.

Geliştiriciler için pratik çıkarımlar

  • İzin verin – Müdahale ettiğinizde, ajana bir araç çağrısını tekrarlayabileceğini veya yeniden hesaplama yapabileceğini açıkça söyleyin. Sadece istenen sonucu yeniden belirtmek, ajanı genellikle orijinal ve hatalı yolunda takılı bırakır.

  • Araçları koruyun – Ajanın kullandığı araçlara girdi kontrolleri ve net hata mesajları ekleyin. Bu, “doğrulanmış saçmalığın” aradan sızmasını önler.

  • Erken tespit edin – Hata ne kadar erken fark edilirse, yeniden çalıştırma isteminin başarılı olması o kadar kolay olur. Beklenen ve gerçek araç kullanımı arasındaki uyumsuzlukları izlemek, onarım istemini doğru zamanda tetikleyebilir.

  • Model yeteneklerini doğrulayın – İstem tabanlı onarıma güvenmeden önce, modelin en başta araçları güvenilir bir şekilde çağırabildiğinden emin olun. Aksi takdirde, bozuk bir temel üzerinde istem etkinliğini ölçüyor olabilirsiniz.

Özetle: Bir yapay zeka ajanına işini yeniden yapması için açıkça izin vermek, yarım yamalak bir düzeltmeyi tam bir kurtarmaya dönüştürebilir. İstem tasarımcıları, “doğrulamak için araçları kullan” ifadesini isteğe bağlı bir süs değil, bir emniyet supabı olarak görmelidir.