موجه Switchyard الخاص بـ Nemotron 3.5 Lightning قد يضاعف تكاليف الاستدلال
يعمل نموذج Nemotron 3.5 Lightning الجديد من Nvidia بنموذج MoE بحجم 30 مليار معلمة مع 3 مليارات معلمة نشطة فقط، إلا أن طبقة التوجيه NeMo Switchyard الخاصة به قد تتخلص من المطالبات المخزنة مؤقتًا عند تبديل النماذج، مما يؤدي فعليًا إلى مضاعفة تكلفة طلب الاستدلال الواحد.