Come ho impedito alla mia funzione AI di prosciugare il mio portafoglio
Ho aggiunto un chatbot AI al mio progetto personale. Pensavo sarebbe stato semplice.
Mi sbagliavo.
Dopo due settimane, la mia fattura OpenAI ha raggiunto gli 87 $ in una singola settimana. Avevo solo 50 utenti. Stavo perdendo soldi su un progetto amatoriale.
Ho provato diversi modi per contenere i costi. Alcuni sono falliti.
- Rate limiting: ho limitato il numero di richieste. Gli utenti l'hanno odiato e se ne sono andati.
- Truncating context: ho tagliato i dati per risparmiare token. Le risposte sono diventate errate.
- Simple caching: ho memorizzato in cache le domande esatte. Gli utenti raramente fanno la stessa identica domanda due volte, quindi questo metodo è fallito.
Mi sono reso conto che il problema era il lavoro ridondante. L'LLM stava rielaborando le stesse idee continuamente.
L'ho risolto con tre passaggi:
Semantic Caching Ho smesso di cercare corrispondenze esatte di parole. Ho iniziato a usare gli embedding per trovare domande simili. Se una nuova domanda è simile al 92% a una vecchia, fornisco la risposta in cache. Questo tasso di successo ha raggiunto il 40% e ha dimezzato i miei costi.
Smart Model Routing Ho smesso di usare GPT-4 per tutto. Ho costruito un router. Se una domanda è breve e semplice, uso un provider economico. Se la domanda è complessa, la invio a un modello premium. La maggior parte delle domande non richiede un modello di fascia alta.
Prompt Trimming Ho ridotto la quantità di contesto che inviavo al modello. Ho tagliato la dimensione del contesto del 60% selezionando solo i frammenti di dati più rilevanti.
I risultati:
- I costi settimanali sono scesi da 40 $ a 7 $.
- I tempi di risposta sono diventati più rapidi grazie alla cache.
- La soddisfazione degli utenti è rimasta alta.
Lezioni imparate:
- Crea una cache semantica fin dal primo giorno.
- Attiva immediatamente gli avvisi sui costi sul tuo account cloud.
- Non usare modelli costosi per semplici compiti di FAQ.
Aggiungere l'IA non riguarda solo i prompt. Riguarda l'economia. Ogni chiamata API costa soldi veri. Se non progetti pensando all'efficienza, il tuo progetto fallirà.
E tu, come gestisci i tuoi costi per l'IA?
Fonte: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il