O roteador Switchyard do Nemotron 3.5 Lightning pode dobrar os custos de inferência
O novo Nemotron 3.5 Lightning da Nvidia executa um modelo MoE de 30 B com apenas 3 B de parâmetros ativos, mas sua camada de roteamento NeMo Switchyard pode descartar prompts em cache ao alternar modelos, dobrando efetivamente o custo de uma única solicitação de inferência.