Der Switchyard-Router von Nemotron 3.5 Lightning kann die Inferenzkosten verdoppeln
Nvidias neues Nemotron 3.5 Lightning betreibt ein 30-B-MoE-Modell mit nur 3 B aktiven Parametern, aber seine NeMo Switchyard-Routing-Schicht kann beim Modellwechsel zwischengespeicherte Prompts verwerfen, was die Kosten einer einzelnen Inferenzanfrage effektiv verdoppelt.