Router Switchyard Nemotron 3.5 Lightning Dapat Melipatgandakan Biaya Inferensi
Nemotron 3.5 Lightning baru dari Nvidia menjalankan model MoE 30 B dengan hanya 3 B parameter aktif, tetapi lapisan perutean NeMo Switchyard miliknya dapat membuang prompt yang tersimpan di cache saat menukar model, sehingga secara efektif melipatgandakan biaya satu permintaan inferensi.