Nemotron 3.5 Lightning کا Switchyard Router انفرنس کے اخراجات کو دوگنا کر سکتا ہے
Nvidia کا نیا Nemotron 3.5 Lightning صرف 3 B فعال پیرامیٹرز کے ساتھ 30 B MoE ماڈل چلاتا ہے، لیکن اس کا NeMo Switchyard راؤٹنگ لیئر ماڈلز کو تبدیل کرتے وقت کیش شدہ پرامپٹس کو ختم کر سکتا ہے، جس سے ایک انفرنس کی درخواست کی لاگت مؤثر طریقے سے دوگنا ہو جاتی ہے۔