Jinsi Nilivyozuia Kipengele changu cha AI Kisiishe Pesa Zangu
Niliweka chatbot ya AI kwenye mradi wangu wa pembeni. Nilidhani ingekuwa rahisi.
Nilikuwa nimekosea.
Baada ya wiki mbili, bili yangu ya OpenAI ilifikia $87 kwa wiki moja tu. Nilikuwa na watumiaji 50 pekee. Nilikuwa napoteza pesa kwenye mradi wa hobby.
Nilijaribu njia kadhaa za kurekebisha gharama. Baadhi zilishindwa.
- Rate limiting: Nilidhibiti idadi ya maombi. Watumiaji walichukia na kuondoka.
- Truncating context: Nilipunguza data ili kuokoa tokens. Majibu yakawa ya makosa.
- Simple caching: Nilihifadhi maswali yale yale. Watumiaji mara chache huuliza kitu kile kile mara mbili, hivyo hii ilishindwa.
Niligundua tatizo lilikuwa ni kazi inayojirudia. LLM ilikuwa inachakata mawazo yale yale mara kwa mara.
Nilikirekebisha kwa hatua tatu:
Semantic Caching Niliacha kutafuta maneno yanayofanana sawia. Nilianza kutumia embeddings kutafuta maswali yanayofanana. Ikiwa swali jipya linafanana kwa 92% na lile la zamani, natoa jibu lililohifadhiwa. Kiwango hiki cha mafanikio kilifikia 40% na kukata gharama zangu kwa nusu.
Smart Model Routing Niliacha kutumia GPT-4 kwa kila kitu. Nilijenga router. Ikiwa swali ni fupi na rahisi, ninatumia mtoa huduma wa bei rahisi. Ikiwa swali ni tata, nalipeleka kwenye model ya premium. Maswali mengi hayahitaji model ya hali ya juu.
Prompt Trimming Nilipunguza kiasi cha muktadha nilichotuma kwenye model. Nilipunguza ukubwa wa muktadha kwa 60% kwa kuchagua vipande vya data vinavyohusika zaidi.
Matokeo:
- Gharama za wiki zilipungua kutoka $40 hadi $7.
- Muda wa majibu uliongezeka kasi kwa sababu ya cache.
- Kuridhika kwa watumiaji kulibaki kuwa juu.
Mafunzo niliyopata:
- Jenga semantic cache tangu siku ya kwanza.
- Tumia taarifa za gharama (cost alerts) kwenye akaunti yako ya cloud mara moja.
- Usitumie model ghali kwa kazi rahisi za FAQ.
Kuongeza AI si kuhusu prompts pekee. Ni kuhusu uchumi. Kila API call ina gharama ya pesa halisi. Ikiwa hutaandaa kwa ajili ya ufanisi, mradi wako utafeli.
Unadhibiti vipi gharama zako za AI?
Chanzo: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il