El equipo que construyó un servicio de inferencia de grado de producción ejecutó seis modelos de lenguaje en DigitalOcean Inference durante 48 horas. El modelo "tiny" de $0.20 al mes superó a las opciones más caras. Se mantuvo dentro del límite de memoria de 8 GB de sus droplets y evitó los bloqueos que derribaron la variante de 70 B, ofreciendo una latencia y precisión utilizables por una fracción del coste.

Por qué es importante la prueba

Las empresas que exponen modelos de lenguaje extensos (LLM) como APIs suelen asumir que los modelos más grandes y costosos garantizan la mejor experiencia. En realidad, los entornos de producción deben gestionar la memoria, la concurrencia y las garantías de tiempo de actividad. Un modelo que parece bueno en el papel puede convertirse en un problema cuando provoca cierres por falta de memoria (OOM) o detiene el servicio durante los arranques en frío (cold starts). Este experimento práctico demuestra que un modelo económico puede ser la única opción viable en hardware modesto.

Los seis contendientes

Modelo Coste mensual Latencia media Precisión* Uso de RAM / Crash
mistral-tiny $0.20 120 ms 88 % 1.2 GB
mistral-small $0.80 180 ms 91 % 2.4 GB
mistral-medium $2.50 250 ms 93 % 4.1 GB
mistral-large $5.00 300 ms 94 % 6.8 GB
llama-70b $8.00 450 ms 95 % CRASH
mixtral-8x7b $10.00 500 ms 96 % CRASH

*La precisión refleja el rendimiento de los modelos en la suite de pruebas de referencia (benchmark) interna del equipo.

El modelo "tiny" costó menos de un cuarto de dólar al mes y se mantuvo muy dentro del margen de memoria de 8 GB. Los dos modelos más grandes —llama-70b y mixtral-8x7b— superaron ese límite y provocaron bloqueos repetidos en el host, lo que los hizo inutilizables a pesar de sus mayores puntuaciones de precisión.

Los puntos críticos que hundieron a los modelos grandes

  • Endpoints codificados (hard-coded) – La arquitectura original enviaba cada solicitud a un único modelo. Cuando ese modelo fallaba, toda la API se caía.
  • Sin límites de memoria – Los modelos más grandes consumían toda la RAM disponible, provocando cierres por OOM sin previo aviso.
  • Latencia de arranque en frío (cold-start) – Las primeras solicitudes a un modelo recién iniciado tardaban varios segundos, lo que afectaba la percepción de la capacidad de respuesta.
  • Concurrencia sin límites – Un pico de solicitudes simultáneas saturaba la memoria y la CPU, causando fallos sistémicos.

Las cifras de rendimiento bruto no significan nada si el servicio no puede mantenerse en línea bajo una carga realista.

La solución de enrutamiento dinámico

Los ingenieros reescribieron la ruta de las solicitudes basándose en tres principios:

  1. Selección de modelo en tiempo de ejecución – El enrutador elige un modelo por solicitud en lugar de utilizar un endpoint estático.
  2. Conciencia del hardware – Cada solicitud recibe un presupuesto de memoria; el enrutador solo envía las solicitudes a los modelos que quepan en la RAM restante.
  3. Cadenas de respaldo (fallback) – Si el modelo elegido falla o agota el tiempo de espera, el enrutador reintenta automáticamente con el siguiente mejor modelo.

La arquitectura revisada añade cuatro salvaguardas concretas:

  • Concurrencia limitada – Un semáforo limita las inferencias paralelas, evitando el agotamiento de la memoria.
  • Timeouts de fallo rápido (fail-fast) – Temporizadores estrictos por solicitud abortan los modelos lentos antes de que bloqueen todo el proceso.
  • Buffers de memoria – El sistema reserva un margen del 20 % de la RAM del droplet, garantizando espacio para la sobrecarga del SO y picos de uso.
  • Precalentamiento (pre-warming) – Se envían solicitudes de prueba a cada modelo al inicio, eliminando la penalización inicial del arranque en frío.

Estas medidas convirtieron un pipeline frágil en un servicio resiliente que soporta tráfico en droplets modestos de 8 GB sin sacrificar demasiada precisión.

Qué observar a continuación

  • Escalado de hardware – A medida que los proveedores de la nube ofrezcan droplets con más memoria a precios más bajos, el punto de equilibrio para los modelos más grandes podría cambiar.
  • Compresión de modelos – La cuantización o la destilación de conocimiento podrían reducir la huella de RAM de los modelos de alta precisión, permitiéndoles ejecutarse en máquinas más pequeñas.
  • Enrutamiento adaptativo – Los futuros enrutadores podrían aprender en tiempo real qué modelo ofrece el mejor equilibrio para una consulta determinada, automatizando aún más el balance entre precisión y coste.

La conclusión es sencilla: en producción, el modelo que se mantiene operativo bajo presión aporta más valor que el que parece mejor en el papel. Elija un modelo basándose en sus restricciones de despliegue, no solo en la precisión teórica.