𝗕𝗶𝗮𝘆𝗮 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘀𝗶 𝗔𝗜 𝗦𝗮𝘆𝗮 𝗧𝗲𝗿𝗹𝗮𝗹𝘂 𝗠𝗮𝗵𝗮𝗹 𝗦𝗮𝗺𝗽𝗮𝗶 𝗦𝗮𝘆𝗮 𝗠𝗲𝗻𝗴𝘂𝗯𝗮𝗵 𝗣𝗲𝗻𝗱𝗲𝗸𝗮𝘁𝗮𝗻 𝗦𝗮𝘆𝗮
Saya sangat menyukai fitur ringkasan AI saya sampai tagihannya datang.
Bulan lalu, saya membangun sebuah alat untuk meringkas artikel panjang. Saya menggunakan GPT-4 dengan prompt sederhana. Hasilnya bekerja dengan sempurna. Pengguna menyukai kualitasnya.
Kemudian tagihannya datang. Penggunaan selama satu bulan menghabiskan lebih dari $1.200. Saya harus memperbaiki ini atau menghentikan fitur tersebut.
Saya mencoba beberapa hal untuk memperbaikinya:
- Saya beralih ke GPT-3.5-turbo. Biayanya turun, tetapi kualitasnya merosot. Ringkasannya menjadi tidak jelas.
- Saya mencoba prompt engineering. Menambahkan "be specific" tidak cukup membantu.
- Saya mencoba mengurangi ukuran input menggunakan library ekstraktif. Ini membantu, tetapi biaya tetap tinggi.
Saya menyadari bahwa saya menggunakan palu godam untuk memaku paku kecil.
Solusinya adalah pipeline dua langkah. Anda menggabungkan dua metode berbeda untuk mendapatkan hasil terbaik.
Langkah 1: Fase Ekstraktif Gunakan alat yang murah dan cepat seperti TextRank untuk memilih 5 hingga 10 kalimat teratas dari artikel tersebut. Ini menghapus 90% teks tambahan.
Langkah 2: Fase Abstraktif Kirimkan hanya beberapa kalimat tersebut ke model kecil dan murah seperti GPT-3.5-turbo. Mintalah model tersebut untuk menulis ulang kalimat-kalimat itu menjadi ringkasan 3 poin yang rapi.
Pendekatan ini memangkas biaya saya sebesar 80%. Kualitasnya tetap mendekati GPT-4 karena model tersebut hanya memproses data yang paling penting.
Tips lain untuk pengembangan AI Anda:
- Gunakan caching. Simpan hasil berdasarkan hash artikel agar Anda tidak membayar untuk ringkasan yang sama dua kali.
- Gunakan lapisan (layers). Pecah tugas-tugas kompleks menjadi sub-tugas yang lebih kecil dan lebih murah.
- Tetapkan fallback. Jika sebuah artikel terlalu kompleks, gunakan model berkualitas tinggi seperti GPT-4 hanya untuk kasus-kasus spesifik tersebut.
Berhenti mengirim blok teks besar ke model yang mahal. Perkecil datanya terlebih dahulu.
Bagaimana Anda menyeimbangkan kualitas AI dan biaya dalam produk Anda? Apakah Anda menggunakan model yang berbeda untuk tugas yang berbeda?