Yapay Zeka Ajanlarının Zor Kısmı Yapmak Değil, Planlamaktır

Görevleri yerine getiren bir yapay zeka ajanı inşa etmek kolaydır. Bunları doğru şekilde planlayan birini inşa etmek ise zordur.

Bir cümle yazdığınızda bir LLM'in gerçek hesaplarınız üzerinde işlemler gerçekleştirdiği bir CLI inşa ettim. İki mod kullanıyorum: Direct modu ve Plan modu.

Direct modu hız içindir. Plan modu ise güvenlik içindir. Plan modunda ajan, verilerinize dokunmadan önce size her adımı gösterir.

Güvenilir bir planlayıcıyı şu şekilde inşa ettim:

• Beyni bölün Tek bir ajan hem planlama hem de yürütme işini yapamaz. Bir planlama ajanı düşünmek ister. Bir yürütme ajanı ise harekete geçmek ister. Onları iki farklı sistem istemi (system prompt) ile iki farklı ajana ayırdım. Bu, birbirleriyle çatışmalarını engelliyor.

• Ajana göz verin Tahmin yürüten bir planlayıcı tehlikelidir. İlk versiyonum varsayımlara dayalı planlar uyduruyordu. Şimdi ise planlayıcı, önce verilerinizi araştırmak için salt okunur (read-only) araçlar kullanıyor. Tek bir adım yazmadan önce gerçek Salesforce alanlarınıza bakıyor.

• Cevapları önceden doldurun Ajanlar genellikle kötü sorular sorar. Eğer çok fazla soru sorarlarsa, sonunda işi onlar yerine siz yapmış olursunuz. Bunu değiştirdim. Planlayıcı hâlâ sorular soruyor ancak önerilen bir cevap sunuyor. Siz sadece onaylıyor veya yönlendiriyorsunuz. Bu, manuel veri girişi yapmadan planın doğru kalmasını sağlıyor.

• Sadece listeyi değil, bağlamı da aktarın Eğer bir yürütücüye sadece bir adım listesi verirseniz, mantık yürütme yeteneğini kaybeder. Planlayıcının, adımlarla birlikte varsayımları ve riskleri de aktarmasını sağladım. Yürütücü artık her eylemin arkasındaki "neden"i biliyor.

• Tehlikeyi etiketleyin Bir plan, ancak riskleri görebiliyorsanız güvenlidir. Sistemim, silme veya yeniden adlandırma gibi yıkıcı eylemleri işaretler. Ajan yıkıcı bir adıma geldiğinde durur ve size sorar.

• Veriyi hakem olarak kullanın Eğer bir ajan bir adımın başarısız olduğunu düşünürse ve siz ona tekrar denemesini söylerseniz, körü körüne itaat etmez. Gerçek platform verilerini kontrol eder. Eğer veriler görevin zaten tamamlandığını gösteriyorsa, ajan sizin beyanınız yerine veriye güvenir.

Güvenlik hakkındaki gerçek: Plan modu, prompt injection'ı veya bakmadan "onayla" butonuna tıklayan bir kullanıcıyı durdurmaz. Sorumluluğu "modele güvenmekten", "incelemesi için insana güvenmeye" kaydırır.

Yapı koruma bariyerlerini sağlar, ancak nihai güvenliği sizin incelemeniz sağlar.

Kaynak: https://dev.to/abdullahsaad5/the-hard-part-of-my-ai-agent-wasnt-doing-the-work-it-was-planning-it-n0k

İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi