¿Necesitas la IA más avanzada para tu trabajo diario?
Cada semana llegan nuevos modelos de IA. La gente debate sobre benchmarks y puntuaciones de programación. Todos nos emocionamos.
Pero empecé a hacerme una pregunta diferente. ¿Realmente necesitas el modelo más avanzado para tus tareas diarias?
Hace poco puse esto a prueba. Comparé dos modelos para una tarea de refactorización de código.
- Sonnet costó 76,1 créditos.
- Haiku costó 13,3 créditos.
Haiku fue 5,7 veces más barato. Esperaba que el modelo caro ganara. No fue así.
Haiku produjo un mejor resultado. Dividió el código en tres archivos limpios. Siguió nuestros estándares de codificación mejor que Sonnet. Fue más barato y más efectivo.
Más grande y más caro no significa mejor.
La capacidad del modelo es solo una parte del proceso. Utilizo un entorno de desarrollo de IA (harness) para obtener mejores resultados. Este entorno incluye:
• Instrucciones específicas del repositorio • Estándares de codificación • Guía arquitectónica • Flujos de trabajo de desarrollo • Contexto del proyecto • Expectativas de revisión
Cuando construyes estas protecciones (guardrails), los modelos pequeños rinden mejor. El modelo no adivina cómo es el buen código. El entorno se lo indica.
La mayoría de las tareas de ingeniería no son problemas de investigación. Tareas como la refactorización, la escritura de pruebas o la creación de documentación no requieren un modelo masivo.
Deja de preguntar qué modelo tiene el benchmark más alto. En su lugar, hazte estas preguntas:
- ¿Se completó la tarea?
- ¿Es el resultado fácil de mantener?
- ¿Sigue los estándares del proyecto?
- ¿Valió la pena el coste?
- ¿Puede el equipo escalar esto de forma económica?
Utiliza el modelo menos costoso que resuelva tu problema.
La industria de la IA se centra en la inteligencia. Tú deberías centrarte en la calidad del entorno (harness). Un modelo que cuesta 5,7 veces menos puede ofrecer mejores resultados si le proporcionas el contexto adecuado.
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi