Роутер Switchyard у Nemotron 3.5 Lightning може подвоїти витрати на інференс
Нова модель Nemotron 3.5 Lightning від Nvidia використовує архітектуру MoE на 30 млрд параметрів, з яких лише 3 млрд є активними, проте її рівень маршрутизації NeMo Switchyard може видаляти кешовані промпти під час перемикання моделей, що фактично подвоює вартість одного запиту на інференс.