Doğrulama Maliyeti Gerçek Yapay Zeka Kodlama Maliyetidir

Kodlama için bir yapay zeka modeli seçerken eskiden tek bir soru sorardım.

Hangi model bu görev için yeterince güçlü?

Bu soru fena değil. Ama artık ilk sorum değil.

Daha iyi olan soru şu: Çıktıyı ne kadar hızlı doğrulayabilirim?

Bu bakış açısı, düşük maliyetli modelleri kullanma şeklinizi değiştirir. Onları büyük modellerin zayıf versiyonları olarak görmeyin. Onları, doğrulama yolları kısa olan görevler için çalışanlar olarak görün.

Bazı görevleri incelemek ucuzdur çünkü sonuçları anında görebilirsiniz.

• README temizliği • Kullanım örnekleri • Kod yorumları • Değişiklik günlüğü (Changelog) notları • Küçük biçimlendirme betikleri • Issue şablonları

Eğer bir model kötü bir README paragrafı yazarsa, bunu görürsünüz. Kötü kısmı silersiniz. Hata can sıkıcıdır ama size neredeyse hiçbir maliyeti olmaz. Ucuz modeller için en iyi kullanım alanı budur.

Bir sonraki kategori test edilebilir işlerdir.

Eğer beklenen davranışı tanımlayabiliyor ve bir test paketi çalıştırabiliyorsanız, ilk taslak için daha ucuz bir model kullanın. Modele net sınırlar çizmelisiniz.

Şöyle demeyin: Bu yardımcı fonksiyon için testler ekle.

Şöyle deyin: Boş girdi, null girdi, yinelenen değerler, geçersiz yapılandırma, varsayılan yapılandırma ve normal girdi için testler ekle. Çalışma zamanı (runtime) kodunu değiştirme.

Bu, modeli bir doğrulama çerçevesi içinde çalışmaya zorlar.

Bazı görevlerde otomatik testler yoktur ancak net manuel kontroller yapılabilir.

• CLI çıktı biçimlendirme • Yapılandırma (Config) örnekleri • Migrasyon deneme (dry run) notları • Küçük veri dönüştürme betikleri

Bunlar için modelden şunları dahil etmesini isteyin:

  • Kodun nasıl çalıştırılacağı
  • Hangi girdinin kullanılacağı
  • Ne tür bir çıktı bekleneceği
  • Hangi uç durumların (edge cases) kontrol edileceği

Eğer bir model kendi çalışmasını nasıl doğrulayacağını açıklayamıyorsa, koda güvenmeyin.

Küçük refaktörler tehlikelidir. Bir diff kısa ve temiz görünebilir. Ancak davranış; gizli bir yolda, varsayılan bir değerde veya bir izin kontrolünde değişebilir.

Bir görev şunlara dokunuyorsa risk seviyenizi artırın:

  • Fallbacks (Yedekleme mekanizmaları)
  • Defaults (Varsayılanlar)
  • Routing (Yönlendirme)
  • Permissions (İzinler)
  • Billing (Faturalandırma)
  • Rate limits (Hız sınırları)
  • Migrations (Migrasyonlar)
  • Backwards compatibility (Geriye dönük uyumluluk)

Bu hataları standart bir kod incelemesinde görmek zordur. Derin bir bağlam gerektirirler.

İşinizi doğrulama maliyetine göre yönlendirin:

  • Düşük doğrulama maliyeti: Taslağı oluşturmak için düşük maliyetli bir model kullanın.
  • Orta doğrulama maliyeti: Düşük maliyetli bir model kullanın, ardından insan düzenlemesi yapın.
  • Yüksek doğrulama maliyeti: Testler ve insan incelemesi ile birlikte güçlü bir model kullanın.

Boyutun bir önemi yok. Eğer doğrulanması zorsa, küçük bir görev bile pahalıdır.

Yapay zeka ile kodlamanın pahalı kısmı üretme aşaması değil, güvendir.

Kaynak: https://dev.to/zephyrelabs369/verification-cost-is-the-real-ai-coding-cost-1354

İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi