El router Switchyard de Nemotron 3.5 Lightning puede duplicar los costes de inferencia
El nuevo Nemotron 3.5 Lightning de Nvidia ejecuta un modelo MoE de 30 B con solo 3 B de parámetros activos, pero su capa de enrutamiento NeMo Switchyard puede descartar los prompts almacenados en caché al cambiar de modelo, duplicando efectivamente el coste de una sola solicitud de inferencia.