Bagaimana Saya Menghentikan Ciri AI Saya Daripada Menghabiskan Wang Saya
Saya menambah chatbot AI ke dalam projek sampingan saya. Saya fikir ia akan menjadi mudah.
Saya silap.
Selepas dua minggu, bil OpenAI saya mencecah $87 untuk satu minggu sahaja. Saya hanya mempunyai 50 pengguna. Saya kerugian wang untuk sebuah projek hobi.
Saya mencuba beberapa cara untuk mengawal kos tersebut. Ada yang gagal.
- Rate limiting: Saya mengehadkan permintaan. Pengguna tidak menyukainya dan meninggalkan aplikasi.
- Truncating context: Saya memotong data untuk menjimatkan token. Jawapan menjadi salah.
- Simple caching: Saya menyimpan soalan yang tepat dalam cache. Pengguna jarang bertanya perkara yang sama tepat dua kali, jadi cara ini gagal.
Saya menyedari masalahnya adalah kerja yang berulang. LLM memproses semula idea yang sama berulang kali.
Saya menyelesaikannya dengan tiga langkah:
Semantic Caching Saya berhenti mencari padanan perkataan yang tepat. Saya mula menggunakan embeddings untuk mencari soalan yang serupa. Jika soalan baharu adalah 92% serupa dengan soalan lama, saya akan memberikan jawapan yang telah disimpan dalam cache. Kadar hit ini mencapai 40% dan mengurangkan kos saya sebanyak separuh.
Smart Model Routing Saya berhenti menggunakan GPT-4 untuk semua perkara. Saya membina satu router. Jika soalan itu pendek dan mudah, saya menggunakan penyedia yang murah. Jika soalan itu kompleks, saya menghantarnya ke model premium. Kebanyakan soalan tidak memerlukan model kelas atasan.
Prompt Trimming Saya mengurangkan jumlah konteks yang dihantar ke model. Saya memotong saiz konteks sebanyak 60% dengan hanya memilih cebisan data yang paling relevan.
Keputusan:
- Kos mingguan turun daripada $40 kepada $7.
- Masa tindak balas menjadi lebih pantas kerana adanya cache.
- Kepuasan pengguna kekal tinggi.
Pengajaran yang diperoleh:
- Bina semantic cache dari hari pertama.
- Gunakan amaran kos pada akaun awan anda dengan segera.
- Jangan gunakan model yang mahal untuk tugasan FAQ yang mudah.
Menambah AI bukan sekadar tentang prompt. Ia adalah tentang ekonomi. Setiap panggilan API melibatkan wang sebenar. Jika anda tidak merancang untuk kecekapan, projek anda akan gagal.
Bagaimana anda menguruskan kos AI anda?
Sumber: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il