Mi integración de IA costaba demasiado hasta que cambié mi enfoque
Me encantaba mi función de resumen con IA hasta que llegó la factura.
El mes pasado, construí una herramienta para resumir artículos largos. Utilicé GPT-4 con un prompt sencillo. Funcionaba perfectamente. A los usuarios les encantó la calidad.
Entonces llegó la factura. Un mes de uso me costó más de 1.200 $. Tuve que solucionar esto o eliminar la función.
Intenté varias cosas para solucionarlo:
- Cambié a GPT-3.5-turbo. El coste bajó, pero la calidad disminuyó. Los resúmenes se volvieron vagos.
- Probé con la ingeniería de prompts. Añadir "sé específico" no ayudó lo suficiente.
- Intenté reducir el tamaño de la entrada usando librerías extractivas. Esto ayudó, pero los costes siguieron siendo altos.
Me di cuenta de que estaba usando un mazo para un clavo pequeño.
La solución es un pipeline de dos pasos. Combinas dos métodos diferentes para obtener los mejores resultados.
Paso 1: La fase extractiva Utiliza una herramienta barata y rápida como TextRank para seleccionar las 5 a 10 mejores frases del artículo. Esto elimina el 90 % del texto sobrante.
Paso 2: La fase abstractiva Envía solo esas pocas frases a un modelo pequeño y económico como GPT-3.5-turbo. Pídele que reescriba esas frases en un resumen limpio de 3 viñetas.
Este enfoque redujo mis costes en un 80 %. La calidad se mantuvo cercana a la de GPT-4 porque el modelo solo procesó los datos más importantes.
Otros consejos para tus desarrollos de IA:
- Usa caché. Almacena los resultados mediante el hash del artículo para no pagar dos veces por el mismo resumen.
- Usa capas. Divide las tareas complejas en subtareas más pequeñas y económicas.
- Establece un fallback. Si un artículo es demasiado complejo, utiliza un modelo de alta calidad como GPT-4 solo para esos casos específicos.
Deja de enviar bloques enormes de texto a modelos caros. Reduce los datos primero.
¿Cómo equilibras la calidad de la IA y el coste en tus productos? ¿Utilizas diferentes modelos para diferentes tareas?