The Rise of Agentic Engineering: Prompt Debt

Düz İngilizce ile prompt yazmak sihir gibi hissettirir. Ne istediğinizi yazarsınız ve bir prototip ortaya çıkar. Ancak uzun vadeli sistemler için bu sihir bir tuzağa dönüşür.

Muhtemelen prompt borcu biriktiriyorsunuz.

Prompt borcu, hassas mühendislik kullanmak yerine bir modeli kontrol etmek için doğal dil kullandığınızda ortaya çıkar. Bu durum üç büyük sorun yaratır:

  • Yineleme süreci yavaşlar. Bir hatayı düzeltmek için daha fazla metin eklersiniz, ancak bu metin başka bir şeyi bozar. Çok geçmeden prompt'unuz, tekrarlanan talimatlardan oluşan bir karmaşaya dönüşür.
  • Ekibiniz kontrolü kaybeder. Tamamı büyük harflerle yazılmış uyarılar ve uç durumlarla (edge cases) dolu bir prompt'u bir meslektaşın okuması veya yönetmesi imkansızdır.
  • Tek bir modele hapsolursunuz. Bir model için optimize edilmiş bir prompt, genellikle daha yeni ve daha iyi bir versiyonda başarısız olur. Ekipler, sistemlerini bozmaktan korktukları için eski ve pahalı modellerde takılıp kalırlar.

Bu, ağırlıklarla (weights) savaştığınız için olur. Bir model talimatınıza direnç gösterdiğinde, onu tekrarlarsınız. Her tekrarlanan veya vurgulanan talimat bir yara dokusudur. Bu, modelin eğitiminin sizin niyetinize nerede karşı koyduğunu gösterir.

Doğal dil, mühendislik için çok belirsizdir. Kelimelerdeki küçük değişiklikler bir modelin davranışını tamamen değiştirebilir. Prompt içindeki ilgisiz gerçekler bile modelin yanıt verme biçimini değiştirebilir.

Bunu nasıl düzeltirsiniz?

Prompt'ları elle yazmayı bırakmalı ve davranışı ölçümlerle belirlemeye başlamalısınız.

  • Prompt, modelin takip etmesini umduğunuz bir paragraftır.
  • Metrik, modelin karşılaması gereken bir sözleşmedir.

Mühendisliğin geleceği "prompt yazmaktan" (prompting) "programlamaya" (programming) doğru evriliyor. DSPy ve GEPA gibi araçlar, bir hedef ve bir metrik tanımlamanıza olanak tanır. Sistem daha sonra bu hedefi karşılayacak en iyi prompt'u arar.

Bu, prompt yazmayı derlenmiş bir çıktıya dönüştürür. Yeni ve daha ucuz bir model geldiğinde panik yapmazsınız. Sadece metriklerinizi yeni modele karşı çalıştırır ve prompt'u yeniden oluşturursunuz.

Mühendislerin assembly dilinden derleyicilere geçmesi gibi, yapay zeka mühendisleri de metinleri elle ayarlamaktan metrikleri optimize etmeye geçmelidir.

Modeli sihirli kelimelerle ikna etmeye çalışmayı bırakın. Ölçülebilir spesifikasyonlarla inşa etmeye başlayın.

Source: https://dev.to/raminjafary/the-rise-of-agentic-engineering-part-6-prompt-debt-the-limits-of-natural-language-28oi

Optional learning community: https://t.me/GyaanSetuAi