Üretim Seviyesi AI Agent'ları İnşa Etmek İçin Kullandığım Tam Stack

Demolar bir şey gösterir. Üretim sistemleri ise başka bir şey. Aralarında birçok insanın görmezden geldiği bir boşluk var.

Artık insanlar her şeye agent diyor. Hafızası olan bir chatbot bir agent'tır. Döngüsü olan bir script bir agent'tır. Bu hata, kötü mühendisliğe yol açar. Basit görevleri gereğinden fazla karmaşıklaştırmak (over-engineering) ve karmaşık olanları ise yetersiz tasarlamakla (under-engineering) sonuçlanırsınız.

Bir agent'ın bir hedefi olmalıdır. Sadece bir talimatı takip etmemelidir. Gerçek bir agent, bir sonraki adımda ne yapacağına karar verir. Hataları yönetir. İşin ne zaman bittiğini bilir.

Sisteminizi bu kurallara göre kontrol edin:

  • Eğer bir insanın her adımı yönlendirmesi gerekiyorsa, bu bir agent değil, bir sohbet arayüzüdür.
  • Eğer sistem, başarısız bir araç çağrısından (tool call) sonra kendini toparlayabiliyorsa, bir agent inşa ediyorsunuz demektir.
  • Eğer sistem bir hedefi alt görevlere bölüyorsa, gerçek bir agent'ınız var demektir.

Başarılı ekipler genel muhakeme motorları inşa etmezler. Dar kapsamlı, amaca yönelik pipeline'lar inşa ederler. Üç şeye odaklanırlar:

  • Araç tasarımı: Agent'ın çağırabilmesi için temiz arayüzler oluşturmak.
  • Hata yönetimi: Bir araç hiçbir şey döndürmediğinde ne yapılacağına karar vermek.
  • Gözlemlenebilirlik: Bir agent'ın neden belirli bir kararı verdiğini izlemek (tracing).

LangChain veya CrewAI gibi framework'ler her ay değişiyor. Framework'ten ziyade desenler (patterns) önemlidir. Başarmak için bu desenleri kullanın:

  • Önce planla sonra uygula: Bir adımı plan oluşturmak, ayrı bir adımı ise bu planı takip etmek için kullanın.
  • Bilgi getirmeyi (retrieval) muhakemeden (reasoning) ayırın: Bağlamı getirmek, onu kullanmaktan farklı bir iştir.
  • Açık devirler (handoffs): Bir agent işi diğerine devrettiğinde yapılandırılmış günlükler (logs) kullanın.

RAG standarttır, ancak çoğu kişi chunking konusunda başarısız oluyor. Metni kötü bir şekilde bölerseniz, model bağlamı kaybeder ve halüsinasyon görür. Eğer sonuçlarınız kullanışsızsa, modeli suçlamadan önce meta verilerinizi ve chunking stratejilerinizi kontrol edin.

Zorluk, benchmark'ların peşinden koşmak değildir. Zorluk, siz başında değilken de çalışacağına güvenebileceğiniz sistemler inşa etmektir. Yönetişim (governance), gözlemlenebilirlik ve güvenilir araç kullanımına odaklanın.

En iyi mühendisler sadece prompt engineering'e değil, sistem tasarımına odaklanacaktır. Diğer insanların bakımını yapabileceği sistemler inşa edin.

Kaynak: https://dev.to/aibughunter/the-exact-stack-i-use-to-build-production-ai-agents-no-fluff-2lmp