Yarı otonom, dört ajanlı bir pipeline, büyük dil modellerini (LLM'ler) sayısal hesaplamaların dışında tutup yalnızca yargı süreçlerine dahil ederek keşifçi veri analizindeki (EDA) halüsinasyonları azaltabilir. Tasarım, modelin neye bakacağına karar vermesine izin verirken, bir sandbox içinde çalışan düz kod asıl hesaplamaları yapar ve adım adım doğrulanabilen sonuçlar sunar.
Tek bir LLM çağrısı neden risklidir?
Bir LLM'e “bu e-tabloya bak ve bana neyin ilginç olduğunu söyle” şeklinde bir prompt vermek, tek bir metin bloğu üretir. Model sayılar uydurur, muhakemeyi çıktı ile harmanlar ve bir sonuca nasıl varıldığına dair hiçbir iz sunmaz. Model halüsinasyon gördüğünde —uydurma bir istatistik veya yanıltıcı bir korelasyon— hata kullanıcıya ulaşmadan önce onu yakalayacak bir kontrol noktası yoktur.
Yarı otonom bir pipeline'ın arkasındaki fikir
Yeni iş akışı, EDA'yı her biri kendi ajanı tarafından yönetilen dört sabit aşamaya ayırır. Ajanlar “planla-sonra-uygula” (plan-then-act) modelini izler: önce hangi işlemin gerekli olduğuna karar verirler, ardından işlemi gerçekten çalıştıran sandbox içindeki koda devrederler. LLM asla aritmetik işlem veya dosya manipülasyonu yapmaz; yalnızca alaka düzeyi hakkında yargıda bulunur.
Dört ajan
- Veri temizleme ajanı – sütun türlerini inceler, eksik değerleri işaretler ve atama (imputation) veya tür dönüştürme stratejilerine karar verir.
- Sütun analiz ajanı – her değişken için veri türüne ve dağılımına göre uygun görselleştirmeleri (histogramlar, kutu grafikleri vb.) seçer.
- İlişki analiz ajanı – her sütun çiftini değerlendirir, hangi çiftlerin daha derin bir istatistiksel testi hak ettiğini seçer ve bunları potansiyel içgörüye göre sıralar.
- Rapor yazma ajanı – oluşturulan grafikleri ve hesaplanan istatistikleri, dikkate değer kalıpları ve uyarıları vurgulayarak doğal dilde açıklamalara dönüştürür.
Her aşama bağımsız olarak çalışır, böylece sütun analiz ve ilişki analiz ajanları paralel olarak yürütülebilir ve genel iş akışındaki süreyi kısaltır.
Otonomi nasıl sınırlandırılır?
Pipeline'ın güvenlik kuralı basittir: modelin yazdığı her kod, onu ana sistemden izole eden bir sandbox içinde çalışır. Yürütme başarısız olursa, hata modele geri bildirilir ve pipeline iptal edilmeden önce modelin betiği düzeltmek için iki deneme hakkı olur. Bu, kontrolden çıkmış döngüleri durdurur ve modelin asla doğrudan dosyaları manipüle etmemesini veya aritmetik işlem yapmamasını garanti eder.
Modelin rolü yalnızca neyin hesaplanacağına karar vermekle sınırlı olduğundan, asıl sayılar her zaman deterministik koddan gelir. Eğer ilişki analiz ajanı "Order ID" ve "Month" arasında bir bağlantıdan şüphelenirse, sandbox bir korelasyon fonksiyonu çalıştırır, kesin değeri döndürür ve ancak ondan sonra model, korelasyonun muhtemelen nedensel mi yoksa tesadüfi mi olduğu konusunda yorum yapar.
Bu neyi çözer – ve maliyeti nedir?
Azaltılmış halüsinasyonlar. Muhakemeyi hesaplamadan ayırarak pipeline, uydurma istatistiklerin en yaygın kaynağını ortadan kaldırır: modelin sayıları kodun üretmesine izin vermek yerine tahmin etmesi.
Modülerlik. Yeni bir aşama eklemek —örneğin bir zaman serisi tahmin ajanı— tüm prompt'u yeniden yazmayı gerektirmez. Her ajan, sabit diziye bağlanan kendi kendine yeten bir modüldür.
Hız kazanımları. Bağımsız ajanların paralel yürütülmesi, her adımı seri hale getirmek zorunda olan monolitik bir LLM çağrısına kıyasla geçen süreyi azaltır.
Karmaşıklık yükü. Bunun karşılığında daha karmaşık bir mimari gelir. Ekiplerin sandbox ortamını sürdürmesi, hata geri dönüş döngülerini yönetmesi ve birden fazla ajanı koordine etmesi gerekir.
Bundan sonra neye dikkat edilmeli?
- Araç entegrasyonları. Sandbox yürütme adımını soyutlayan açık kaynaklı çerçeveler (frameworks), mühendislik yükünü azaltabilir ve bu modeli daha erişilebilir kılabilir.
- Standartlaştırılmış ajan sözleşmeleri. Daha fazla ekip çok ajanlı pipeline'ları benimsedikçe, “planla-sonra-uygula” ajanları için ortak arayüzler ortaya çıkabilir ve bu da birlikte çalışabilirliği kolaylaştırabilir.
Temel ders açıktır: LLM'e hesaplama gücü değil, düşünme özgürlüğü verin. Otonomisini yargı ile sınırlandırarak ve her sayıyı izole edilmiş kod üzerinden yönlendirerek, yarı otonom bir EDA pipeline'ı, hayalet rakamlardan korkmadan kontrol edebileceğiniz, güvenebileceğiniz ve paylaşabileceğiniz sonuçlar üretir.
Source: https://dev.to/sraveend/agentic-but-only-semi-autonomous-designing-an-eda-pipeline-you-can-trust-4ha9
Community discussion: https://t.me/GyaanSetuAi