Cómo construí páginas de comparación de IA con un presupuesto limitado
Necesitaba crear páginas de comparación para mi directorio de herramientas de IA.
Las matemáticas eran aterradoras. Con 200 modelos, me enfrentaba a casi 20,000 pares posibles. Usar Claude Haiku para generar contenido para cada par costaría demasiado si lo ejecutara a diario.
Aquí te explico cómo lo solucioné usando lógica y límites.
La estrategia
Me enfoqué en consultas de alta intención. Los usuarios quieren saber "Llama 3 vs Mistral". Quieren una decisión, no un ensayo largo.
Utilicé estas reglas para controlar los costos:
• Agrupar los modelos por su etiqueta de pipeline. • Seleccionar solo los 4 modelos principales por número de descargas en cada grupo. • Establecer un límite estricto en el total de pares.
Esto redujo mis pares de 20,000 a unos 50. Esto mantiene mis costos bajos mientras cubro los modelos más populares.
La configuración técnica
Construí un proceso ETL que se ejecuta cada noche. Es idempotente. Esto significa que si el par ya existe en mi base de datos, el script lo omite.
La mayoría de las noches, el script se ejecuta en 3 segundos y cuesta $0 porque lo omite todo.
Utilizo varios trucos para mantener la eficiencia:
• Prompt Caching: Utilizo un cliente compartido de Claude Haiku. Dado que el system prompt se mantiene igual, el almacenamiento en caché hace que las llamadas posteriores sean casi gratuitas. • Lean Prompts: Trunco los resúmenes de los modelos a 400 caracteres. Esto mantiene la entrada pequeña y rápida. • Static Generation: Utilizo Astro para convertir los datos en archivos JSON estáticos. No hay llamadas lentas a la base de datos ni latencias de edge functions para el usuario.
¿Qué pasa cuando falla?
La IA puede ser impredecible. A veces Claude devuelve un JSON incorrecto.
Escribí un sistema de fallback. Si la IA falla, la página no se bloquea. En su lugar, muestra una plantilla estándar. Le indica al usuario que consulte las páginas individuales de cada modelo. Registro estos fallos en mi base de datos para poder reintentarlos más tarde.
Qué haría de forma diferente
Si empezara de nuevo hoy, cambiaría dos cosas:
- Comparaciones entre pipelines: Comparar un modelo de texto con un modelo de visión es más valioso que comparar dos modelos de texto similares.
- Selección basada en búsquedas: En lugar de usar el número de descargas, usaría los registros de búsqueda reales de los usuarios para decidir qué pares construir.
Construir con restricciones te obliga a construir de forma más inteligente.
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi