De Switchyard-router van Nemotron 3.5 Lightning kan de kosten voor inferentie verdubbelen
Nvidias nieuwe Nemotron 3.5 Lightning draait een 30 B MoE-model met slechts 3 B actieve parameters, maar de NeMo Switchyard-routinglaag kan gecachte prompts verwijderen bij het wisselen van modellen, waardoor de kosten van een enkele inferentieaanvraag effectief worden verdubbeld.