Il router Switchyard di Nemotron 3.5 Lightning può raddoppiare i costi di inferenza
Il nuovo Nemotron 3.5 Lightning di Nvidia gestisce un modello MoE da 30 B con soli 3 B di parametri attivi, ma il suo strato di routing NeMo Switchyard può scartare i prompt memorizzati nella cache durante lo scambio di modelli, raddoppiando di fatto il costo di una singola richiesta di inferenza.