Bộ định tuyến Switchyard của Nemotron 3.5 Lightning có thể làm tăng gấp đôi chi phí suy luận
Nemotron 3.5 Lightning mới của Nvidia vận hành một mô hình MoE 30 tỷ tham số chỉ với 3 tỷ tham số hoạt động, nhưng lớp định tuyến NeMo Switchyard của nó có thể loại bỏ các prompt đã lưu trong bộ nhớ đệm khi chuyển đổi mô hình, khiến chi phí cho một yêu cầu suy luận có thể tăng lên gấp đôi.