𝗞𝗼𝘀 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘀𝗶 𝗔𝗜 𝗦𝗮𝘆𝗮 𝗧𝗲𝗿𝗹𝗮𝗹𝘂 𝗧𝗶𝗻𝗴𝗴𝗶 𝗦𝗲𝗵𝗶𝗻𝗴𝗴𝗮 𝗦𝗮𝘆𝗮 𝗠𝗲𝗻𝗴𝘂𝗯𝗮𝗵 𝗣𝗲𝗻𝗱𝗲𝗸𝗮𝘁𝗮𝗻 𝗦𝗮𝘆𝗮
Saya membina satu alat untuk meringkaskan artikel yang panjang. Saya menggunakan GPT-4 untuk menjadikannya berfungsi. Ringkasannya sangat bagus. Bilnya mencecah $1,200 dalam masa sebulan.
Kos tersebut terlalu tinggi untuk projek saya. Saya mempunyai tiga pilihan. Baiki kos atau hentikan ciri tersebut.
Saya cuba beralih kepada GPT-3.5. Harganya turun. Kualitinya juga turun. Ringkasannya menjadi kabur dan terlepas fakta-fakta penting.
Saya cuba mengurangkan saiz teks input. Saya menggunakan library tempatan untuk memilih ayat-ayat penting terlebih dahulu. Ia membantu, tetapi kos tetap tinggi. Model kecil masih melakukan kesilapan pada teks yang panjang.
Kemudian saya menemui cara yang lebih baik. Saya berhenti menggunakan satu model besar untuk segalanya. Saya mula menggunakan pipeline dua langkah.
Langkah 1: Fasa Ekstraktif. Gunakan alat yang murah dan pantas untuk memilih 5 hingga 10 ayat teratas daripada artikel tersebut. Ini membuang 90% daripada teks.
Langkah 2: Fasa Abstraktif. Hantar hanya beberapa ayat tersebut kepada API yang kecil dan murah. Minta ia menggabungkan ayat-ayat tersebut menjadi ringkasan yang kemas.
Perubahan ini mengurangkan kos saya sebanyak 80%. Kualitinya kekal hampir sama dengan GPT-4. Panggilan API menjadi jauh lebih kecil dan murah.
Saya juga mempelajari dua pengajaran penting:
Gunakan caching. Jika ramai pengguna membaca artikel yang sama, jangan jalankan proses itu dua kali. Simpan hasilnya.
Gunakan lapisan. Anda tidak sentiasa memerlukan model yang berat. Pecahkan tugas yang kompleks kepada langkah-langkah kecil yang murah.
Bagaimanakah anda mengimbangi kualiti AI dan kos dalam projek anda? Adakah anda menggunakan model yang berbeza untuk langkah yang berbeza?
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi