Router Switchyard w Nemotron 3.5 Lightning może podwoić koszty inferencji
Nowy Nemotron 3.5 Lightning od Nvidii obsługuje model MoE o rozmiarze 30 mld parametrów przy zaledwie 3 mld aktywnych parametrów, jednak jego warstwa routingu NeMo Switchyard może odrzucać prompty z pamięci podręcznej podczas zmiany modeli, co w praktyce podwaja koszt pojedynczego zapytania o inferencję.