Biaya Integrasi AI Saya Terlalu Mahal Sampai Saya Mengubah Pendekatan Saya
Saya membangun sebuah alat untuk meringkas artikel panjang. Saya menggunakan GPT-4 agar alat tersebut berfungsi. Ringkasannya sangat bagus. Tagihannya mencapai $1.200 dalam satu bulan.
Biaya tersebut terlalu tinggi untuk proyek saya. Saya punya tiga pilihan. Perbaiki biayanya atau hentikan fiturnya.
Saya mencoba beralih ke GPT-3.5. Harganya turun. Kualitasnya juga turun. Ringkasannya menjadi tidak jelas dan melewatkan fakta-fakta penting.
Saya mencoba mengurangi ukuran teks input. Saya menggunakan pustaka lokal untuk memilih kalimat-kalimat penting terlebih dahulu. Itu membantu, tetapi biayanya tetap tinggi. Model kecil masih melakukan kesalahan pada teks yang panjang.
Kemudian saya menemukan cara yang lebih baik. Saya berhenti menggunakan satu model besar untuk segalanya. Saya mulai menggunakan pipeline dua langkah.
Langkah 1: Fase ekstraktif. Gunakan alat yang murah dan cepat untuk memilih 5 hingga 10 kalimat teratas dari artikel tersebut. Ini menghapus 90% teks.
Langkah 2: Fase abstraktif. Kirimkan hanya beberapa kalimat tersebut ke API yang kecil dan murah. Mintalah API tersebut untuk menggabungkan kalimat-kalimat itu menjadi ringkasan yang rapi.
Perubahan ini memangkas biaya saya sebesar 80%. Kualitasnya tetap mendekati GPT-4. Pemanggilan API menjadi jauh lebih kecil dan lebih murah.
Saya juga mempelajari dua pelajaran penting:
Gunakan caching. Jika banyak pengguna membaca artikel yang sama, jangan jalankan prosesnya dua kali. Simpan hasilnya.
Gunakan lapisan (layers). Anda tidak selalu membutuhkan model yang berat. Pecah tugas-tugas kompleks menjadi langkah-langkah kecil yang murah.
Bagaimana Anda menyeimbangkan kualitas AI dan biaya dalam proyek Anda? Apakah Anda menggunakan model yang berbeda untuk langkah-langkah yang berbeda?
Komunitas belajar opsional: https://t.me/GyaanSetuAi