Роутер Switchyard в Nemotron 3.5 Lightning может удвоить стоимость инференса
Новая модель Nemotron 3.5 Lightning от Nvidia использует архитектуру MoE с 30 млрд параметров, из которых только 3 млрд являются активными, но её уровень маршрутизации NeMo Switchyard может удалять кэшированные промпты при переключении моделей, что фактически удваивает стоимость одного запроса на инференс.