LiteLLM vs Bifrost: Probé ambos en producción
Ejecuté LiteLLM y Bifrost en paralelo durante dos semanas.
Utilicé el mismo tráfico, los mismos modelos y la misma infraestructura. Necesitaba elegir un gateway para mi equipo. Quería datos reales en lugar de promesas de marketing.
Aquí están mis hallazgos.
The Test Setup Utilicé instancias c5.xlarge con 4 vCPUs y 8GB de RAM. No utilicé instancias de prueba pequeñas. Utilicé solicitudes reales de usuarios de nuestra plataforma de agentes, con una frecuencia de 200 a 400 solicitudes por segundo.
Provider Coverage
- LiteLLM es compatible con más de 100 proveedores.
- Bifrost es compatible con alrededor de 23 proveedores.
LiteLLM gestiona OpenAI, Anthropic, Bedrock, Vertex, Groq y Deepseek mediante una configuración sencilla. A Bifrost le faltaban algunos de los proveedores que necesitábamos. Esto lo convirtió en un factor determinante para nosotros.
Performance Bifrost es más rápido en cuanto a la sobrecarga bruta del gateway porque utiliza Go. Medí una sobrecarga de alrededor de 0.08ms. El proxy de Python de LiteLLM añadió entre 7ms y 8ms por solicitud.
Sin embargo, una llamada a un LLM tarda entre 500ms y 30 segundos. Un retraso de 7ms es casi invisible en comparación con el tiempo de respuesta del modelo.
Además, LiteLLM acaba de lanzar un gateway basado en Rust. Esto reduce la sobrecarga a 0.05ms. Esto cierra la brecha de rendimiento.
Spend Tracking Aquí es donde LiteLLM gana. Realiza un seguimiento automático de los gastos en cada clave y en cada equipo.
- Obtienes presupuestos por clave.
- Obtienes presupuestos por equipo.
- Obtienes informes de gastos diarios.
Bifrost tiene límites de presupuesto, pero LiteLLM proporciona una atribución de costes detallada. Cuando realizas 10 millones de llamadas al mes, tu CTO preguntará exactamente cuánto gastó cada equipo en cada modelo. LiteLLM te da esa respuesta de inmediato.
Routing Strategies LiteLLM ofrece cinco estrategias de enrutamiento:
- Mezcla simple
- El menos ocupado
- Basado en latencia
- Basado en costes
- Basado en uso
Bifrost tiene enrutamiento ponderado y adaptativo, pero carece de enrutamiento basado en costes. LiteLLM puede elegir automáticamente el modelo más barato para una solicitud.
Verdict Elegí LiteLLM.
La lista de proveedores y el seguimiento de gastos fueron las razones principales. Bifrost es una excelente ingeniería para equipos pequeños que solo utilizan OpenAI o Anthropic. Pero para escala y variedad, LiteLLM es más práctico.
Optional learning community: https://t.me/GyaanSetuAi