Hızlı Bir LLM'in Bana Varsayımlar Hakkında Öğrettikleri

Karmaşık bir görev için bir saat boyunca ucuz, hızlı bir LLM çalıştırdım. Başarısız olmadı.

Çoğu insan zayıf modellerin uzun görevlerde başarısız olduğunu düşünür. Konudan saparlar veya yarı yolda pes ederler. Ancak bu model rotasında kaldı. Bu, ona bir çıktı listesi verdiğim için gerçekleşti.

Bu çıktıların doğruluğa yardımcı olacağını düşünmüştüm. Yanılmışım.

Bir çalışma, çıktıların bir modeli daha doğru hale getirmediğini gösteriyor. Onları daha doğrulanabilir kılıyor. Model, yaptığı işi daha iyi belgeliyor. Kontrol etmeniz için geriye kanıtlar bırakıyor.

Yazılımda iki tür hata vardır:

  • Yürütme hataları: Yer değiştirmiş bir virgül veya gözden kaçan bir uç durum (edge case). Bunları testler ve linting ile düzeltirsiniz.
  • Varsayım hataları: Bir sınırı yanlış yere koymak. Bunu düzeltmek çok daha zordur.

Süreç, yürütme hatalarına yardımcı olur. Varsayım hatalarını çözmez. Eğer siz ve model aynı kör noktayı paylaşıyorsanız, incelemeniz de başarısız olacaktır.

Yapay zeka, bu hataların matematiğini değiştiriyor.

Geçmişte bir insan hataları yavaş yapardı. Bu size fark etmeniz için zaman tanırdı. Şimdi ise yapay zeka hataları hızlı yapıyor. Bir model, siz fark etmeden önce tek bir yanlış varsayım üzerine üç saatlik kusursuz kod inşa edebilir.

Bir model ne kadar yetenekli görünürse, ona o kadar çok güvenirsiniz. Daha uzun süre çalışmasına izin verirsiniz. Daha seyrek kontrol etmeye başlarsınız. Bu bir tuzaktır. Yanlış bir varsayım uyarı ışığı yakmaz. Çok geç olana kadar ilerleme gibi görünür.

Sektör bunu daha fazla süreçle çözmeye çalışıyor. Daha fazla spesifikasyon ve daha fazla plan ekliyoruz. Bu sadece daha fazla ek yük (overhead) demek. Bu, varsayım problemi için bir yürütme aracıdır.

Bir modelin ne sıklıkla haklı olduğunu ölçmeyi bırakmalıyız. Yanlış bir varsayımın biz onu yakalamadan önce ne kadar süre hayatta kaldığını ölçmemiz gerekiyor.

Üretim ortamında (production) buna MTTD: Mean Time To Detect diyoruz.

Her hatayı durduramayız. Sadece hataları düzeltmeyi daha ucuz hale getirebiliriz. Bunu da onları erkenden yakalayarak yaparsınız.

Hedef sadece daha akıllı bir model bulmak değil. Hedef, nerede hala kontrolü elinde tutan kişi olmanız gerektiğine karar vermektir.

Source: https://dev.to/g_correa/what-a-fast-llm-taught-me-about-assumptions-oe

Optional learning community: https://t.me/GyaanSetuAi