روتر Switchyard در Nemotron 3.5 Lightning میتواند هزینههای استنتاج را دو برابر کند
مدل جدید Nemotron 3.5 Lightning شرکت انویدیا، یک مدل MoE با ۳۰ میلیارد پارامتر را تنها با ۳ میلیارد پارامتر فعال اجرا میکند، اما لایه مسیریابی NeMo Switchyard آن میتواند هنگام تعویض مدلها، پرامپتهای کششده را حذف کند که این امر عملاً هزینه یک درخواست استنتاج واحد را دو برابر میکند.