𝗚𝗣𝗧 𝗠𝗲𝗹𝗮𝗸𝘂𝗸𝗮𝗻 𝗟𝗲𝗯𝗶𝗵 𝗱𝗮𝗿𝗶 𝘆𝗮𝗻𝗴 𝗔𝗻𝗱𝗮 𝗞𝗶𝗿𝗮
Model-model GPT mengubah cara kita bekerja dengan teks.
Perjalanan ini dimulai dengan GPT-1. Ia menunjukkan bahwa mesin dapat menulis kalimat yang koheren. GPT-2 menyusul dan menunjukkan seberapa besar potensi yang dimiliki model-model ini. Kemudian GPT-3 tiba. Dengan 175 miliar parameter, ia membuktikan bahwa model dapat melakukan lebih dari sekadar menyelesaikan sebuah kalimat.
Rahasianya adalah arsitektur Transformer. Ia mempelajari pola dari data dalam jumlah masif. Anda tidak perlu memprogram setiap aturan. Anda dapat melakukan fine-tune untuk tugas-tugas tertentu atau menggunakan bahasa alami untuk memandunya.
Namun, menjalankan model-model ini dalam produksi adalah hal yang sulit.
Latensi yang tinggi dapat merusak pengalaman pengguna. Kami menjalankan model besar pada 64 GPU Nvidia H100. Penundaannya adalah 120ms. Ini terlalu lambat untuk kebutuhan kami. Kami beralih ke model dengan 6 miliar parameter yang lebih kecil menggunakan LoRA. Hal ini menurunkan latensi menjadi 38ms. Ini juga menghemat kami $30.000 setiap bulan. Kami kehilangan sedikit akurasi pengodean, tetapi kecepatan dan biayanya membuatnya sepadan.
Anda juga harus mewaspadai bias. GPT mempelajari pola dari internet. Ini berarti ia dapat mengulangi stereotip atau kesalahan faktual. Ia terdengar percaya diri bahkan ketika ia salah.
Kami membangun pipeline data untuk menangkap kesalahan-kesalahan ini. Kami menggunakan rule engine untuk menandai bahasa yang bias. Awalnya, 4% dari tanda kami salah. Kami memperbaikinya dengan menambahkan model validasi kecil. Ini menurunkan tingkat kesalahan hingga di bawah 1%.
Biaya dan energi juga merupakan hambatan besar.
Melatih model besar memakan biaya jutaan dolar. Kami menggunakan kuantisasi untuk menurunkan biaya. Dengan menggunakan kuantisasi 4-bit, kami menurunkan biaya per token dari $0,00015 menjadi $0,00004. Untuk produk SaaS yang besar, ini menghemat $3 juta per tahun.
Masa depan bergerak menuju efisiensi. Alih-alih hanya membuat model menjadi lebih besar, para pengembang membuatnya lebih cerdas dan lebih kecil. Kita membutuhkan model yang cepat, murah, dan jujur tentang apa yang tidak mereka ketahui.
Gunakan alat-alat ini dengan bijak. Pahami batasannya. Bangun guardrails untuk menjaganya tetap bermanfaat.
Sumber: https://dev.to/lavkeshdwivedi/gpt-does-more-than-you-think-fll
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi