AI Ajanı Darboğazım Model Değildi. Mimariydi.

Üç ay önce, bir müşterinin iş akışı bozuldu.

Belge sınıflandırma, etiketleme ve özetleme için tek bir ajan kullanıyordum. Günde 50 belge için iyi çalışıyordu. Sonra hacim 500'e ulaştı.

Ajan, her bir grup (batch) için 40 dakika harcıyordu. Ölçeklenemedi. Çöktü.

Daha büyük bir modele geçmedim. Bunun yerine, ajanı üç uzmanlaşmış role böldüm. Bu roller paralel olarak çalıştı.

İşleme süresi 40 dakikadan 4 dakikaya düştü. Model aynı kaldı. Mimari değişti.

Çoğu geliştirici, ardışık ajanlar oluşturma hatasına düşüyor. Tek bir ajan her şeyi sırayla yapıyor.

Eğer 500 belgeniz ve belge başına üç göreviniz varsa, birbiri ardına 1.500 LLM çağrısı yaparsınız. Çağrı başına 2 saniye sürse bile 50 dakika beklersiniz. Modeliniz zamanının çoğunu bekleyerek geçirir.

Çözüm, eşzamanlı çalışan uzmanlaşmış ajanlar kullanmaktır.

  • Daha küçük, odaklanmış sistem istemleri (system prompts) kullanın.
  • Bağımsız görevleri aynı anda çalıştırın.
  • Görevleri yönetmek için bir dağıtıcı (dispatcher) kullanın.

Uzmanlaşmış ajanlar daha hızlı ve daha ucuzdur. Sıkı bir isteme (prompt) sahip küçük bir model, belirli görevlerde büyük bir genel modeli geride bırakacaktır.

Ancak, her şeyi paralel hale getirmeyin. Şu hatalardan kaçının:

  • Birbirine bağımlı görevleri paralel hale getirmeyin. Eğer B görevi A görevinin çıktısına ihtiyaç duyuyorsa, onları sırayla çalıştırmalısınız.
  • Çok küçük görevleri paralel hale getirmeyin. Ajanı yönetmenin getirdiği ek yük (overhead), görevin kendisinden daha uzun sürebilir.
  • Veri getirme (retrieval) hızını ihmal etmeyin. Eğer sisteminiz veritabanı sorguları nedeniyle yavaşsa, LLM çağrılarını paralel hale getirmek işe yaramayacaktır.

Ölçeklendirmek için şu adımları izleyin:

  • Önce sisteminizi analiz edin (profile). Zamanın gerçekte nerede kaybedildiğini bulun.
  • Belirli roller için uzmanlaşmış ajanlar kullanın.
  • Kod yazmadan önce bağımlılık grafiğinizi (dependency graph) çıkarın.

Bir AI ajanı oluşturmak iki farklı problemdir. Biri ajanın ne yaptığıdır. Diğeri ise ajanın sisteminize nasıl entegre olduğudur.

Üretim sistemleri (production systems) ikinci problem sayesinde yaşar ya da ölür.

Bir sınıra takılırsanız, sadece daha büyük bir model satın almayın. Önce sistem haritanızı çizin. Mimari sorunun asıl kaynağı olabilir.

Kaynak: https://dev.to/mrclaw207/my-ai-agent-bottleneck-wasnt-the-model-it-was-the-architecture-2h9m

İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi