Yapay Zeka Ajanınızın Daha Akıllı Olmasına Gerek Yok. Idempotent Olması Yeterli
Çoğu üretim aşamasındaki yapay zeka ajanı, hatalı muhakeme nedeniyle başarısız olmaz. Ağ hataları nedeniyle başarısız olurlar.
Model doğru aracı seçer. Doğru ayrıntıları doldurur. Sonra, bir müşteriden iki kez ücret alır.
Bu durum, yazma yeteneğine sahip ajanların güvenilir olmayan ağlarda çalışmasından kaynaklanır.
- İstekler zaman aşımına uğrar.
- Bağlantılar kopar.
- Framework'ler halihazırda tamamlanmış adımları tekrar dener.
Salt okunur bir ajanda, yeniden deneme ücretsizdir. Yazma yeteneğine sahip bir ajanda ise yeniden deneme, geri alınamaz ikinci bir işlemdir.
Çözüm, idempotency'dir.
Şu yaygın hataya göz atın:
- Ajan, bir fatura göndermek için bir fonksiyon çağırır.
- Servis faturayı oluşturur.
- Yanıt ajana ulaşmadan bağlantı kopar.
- Ajan bir zaman aşımı görür ve işlemi tekrar dener.
- Şimdi, elinizde iki fatura var.
Daha akıllı bir model bunu düzeltmeyecektir. Daha akıllı bir model, yeniden denemeler konusunda daha agresif davranarak durumu daha da kötüleştirebilir.
Stripe gibi ödeme sistemlerinden öğrenebilirsiniz. Onlar bir Idempotency-Key kullanırlar. Sunucu, ilk isteğin sonucunu kaydeder. Eğer istemci aynı anahtarı tekrar gönderirse, sunucu işlemi ikinci kez çalıştırmak yerine saklanan sonucu döndürür.
Bir yapay zeka ajanı için bu anahtarı niyetten (intent) türetmelisiniz.
Rastgele ID'ler kullanmayın. Araç adının ve kararlı parametrelerinin bir hash'ini kullanın.
Örnek:
- Araç:
charge_customer - Parametreler:
{customer_id: 42, amount: 500} - Anahtar:
hash(tool + params)
Eğer ajan tam olarak aynı ödemeyi tekrar denerse, anahtar aynı kalır. Sistem bunu tanır ve mükerrer ödemeyi önler.
Bir uyarı: Anahtarınız, yalnızca tek bir eylemi nasıl tanımladığınız kadar iyidir.
- Hash'inize bir zaman damgası (timestamp) eklerseniz, her yeniden deneme yeni bir anahtar alır. Korumasız kalırsınız.
- Bir LLM tarafından yazılan mesaj gövdesini dahil ederseniz, model tek bir kelimeyi bile değiştirebilir. Bu, yeni bir anahtar ve mükerrer bir eylem oluşturur.
Her zaman müşteri ID'leri veya fatura ID'leri gibi kararlı verilere dayalı anahtarlar oluşturun. Modelin değiştirebileceği her şeyi hariç tutun.
Ajan güvenilirliğini daha iyi prompt'larla düzeltmeye çalışmayı bırakın.
Güvenilirlik, tekrarlanan bir kararın maliyetini sıfıra indirmekle ilgilidir. Eğer ajanınız aynı eylemi iki kez gerçekleştirirse, hiçbir şey bozulmamalıdır.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi