GPT Düşündüğünüzden Daha Fazlasını Yapıyor
GPT modelleri metinle çalışma şeklimizi değiştiriyor.
Yolculuk GPT-1 ile başladı. Makinelerin tutarlı cümleler yazabileceğini gösterdi. Ardından GPT-2 geldi ve bu modellerin ne kadar büyük bir potansiyele sahip olduğunu kanıtladı. Sonra GPT-3 sahneye çıktı. 175 milyar parametresiyle, modellerin sadece bir cümleyi tamamlamaktan çok daha fazlasını yapabileceğini kanıtladı.
Sır, Transformer mimarisinde yatıyor. Devasa miktardaki veriden kalıpları öğrenir. Her kuralı tek tek programlamanıza gerek yoktur. Belirli görevler için ince ayar (fine-tune) yapabilir veya onu yönlendirmek için doğal dili kullanabilirsiniz.
Ancak bu modelleri üretim ortamında (production) çalıştırmak zordur.
Yüksek gecikme süresi (latency) kullanıcı deneyimini mahvedebilir. Büyük modelleri 64 adet Nvidia H100 GPU üzerinde çalıştırdık. Gecikme 120 ms idi. Bu, ihtiyaçlarımız için çok yavaştı. LoRA kullanarak 6 milyar parametreli daha küçük bir modele geçtik. Bu, gecikmeyi 38 ms'ye düşürdü. Ayrıca bize her ay 30.000 dolar tasarruf sağladı. Kodlama doğruluğundan biraz ödün verdik ancak hız ve maliyet buna değdi.
Ayrıca yanlılıklara (biases) karşı da dikkatli olmalısınız. GPT, kalıpları internetten öğrenir. Bu, stereotipleri veya olgusal hataları tekrarlayabileceği anlamına gelir. Yanlış olduğunda bile kendinden emin bir şekilde konuşur.
Bu hataları yakalamak için bir veri hattı (data pipeline) oluşturduk. Yanlı dil kullanımını işaretlemek için bir kural motoru kullandık. Başlangıçta işaretlemelerimizin %4'ü hatalıydı. Küçük bir doğrulama modeli ekleyerek bunu düzelttik. Bu, hataları %1'in altına indirdi.
Maliyet ve enerji de büyük engellerdir.
Büyük modelleri eğitmek milyonlarca dolara mal olur. Maliyetleri düşürmek için kuantizasyon (quantization) kullanıyoruz. 4-bit kuantizasyon kullanarak token başına maliyeti 0,00015 dolardan 0,00004 dolara düşürdük. Büyük bir SaaS ürünü için bu, yılda 3 milyon dolar tasarruf sağlıyor.
Gelecek verimliliğe doğru ilerliyor. Geliştiriciler modelleri sadece büyütmek yerine, onları daha akıllı ve daha küçük hale getiriyorlar. Hızlı, ucuz ve bilmedikleri şeyler konusunda dürüst olan modellere ihtiyacımız var.
Bu araçları akıllıca kullanın. Sınırlarını anlayın. Onları yararlı tutmak için koruma bariyerleri (guardrails) oluşturun.
Source: https://dev.to/lavkeshdwivedi/gpt-does-more-than-you-think-fll
Optional learning community: https://t.me/GyaanSetuAi