El colapso de precios de 10x es una apuesta arquitectónica
Los ingenieros pasan horas reescribiendo prompts para ahorrar unos pocos tokens. Este esfuerzo suele ser en vano.
Los tokens no son gratuitos, pero el coste de la IA está bajando demasiado rápido. El coste de un nivel específico de rendimiento de la IA cae aproximadamente 10x cada año. Esto se llama LLMflation.
Los datos muestran que esta tendencia es real:
• La calidad de nivel GPT-3 costaba 60 $ por millón de tokens en 2021. • Ahora cuesta unos 0,06 $ usando Llama 3.2 3B. • Eso es una caída de 1.000x en tres años. • Los costes de calidad de GPT-3.5 cayeron 280x en solo 18 meses.
Los modelos de frontera siguen siendo caros. Pero los modelos que utilizas para tareas estándar están en caída libre. Si optimizas para los precios de hoy, estás optimizando para una cifra que desaparecerá en meses.
No te centres en trucos de prompts. Céntrate en la arquitectura.
Sigue estas tres reglas para ganar:
• Trata el modelo como un componente. Utiliza una única interfaz para entradas y salidas. No codifiques modelos específicos en tu aplicación. Esto te permite intercambiar modelos mediante un simple cambio de configuración.
• Construye primero un entorno de evaluación. Necesitas un conjunto de pruebas para demostrar si un modelo nuevo y más barato funciona tan bien como el anterior. Sin pruebas, te quedarás estancado en modelos caros por miedo a romper algo.
• Invierte en cosas que no se abaratan. La calidad de tus datos, tus sistemas de recuperación, tus salvaguardas y tu experiencia de usuario no bajan de precio 10x al año. Solo el modelo lo hace.
Deja de hacer fine-tuning para obtener capacidad bruta. El fine-tuning es una apuesta contra la tendencia. Bloqueas tus datos e infraestructura en un modelo específico. Cuando llega un nuevo modelo base, tu modelo ajustado se convierte en una reliquia costosa. Solo haz fine-tuning para cosas que se mantienen constantes, como el tono específico de tu marca o formatos de datos únicos.
La estrategia ganadora es construir un sistema que haga que intercambiar modelos sea algo trivial. Deja de contar tokens. Diseña tu producto para que aproveche la curva de caída de precios.
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi