Router Switchyard Nemotron 3.5 Lightning Boleh Menggandakan Kos Inferens
Nemotron 3.5 Lightning baharu daripada Nvidia menjalankan model MoE 30 B dengan hanya 3 B parameter aktif, namun lapisan penghalaan NeMo Switchyard miliknya boleh membuang prom yang disimpan dalam cache semasa menukar model, secara berkesan menggandakan kos bagi satu permintaan inferens.