Nemotron 3.5 Lightning-এর Switchyard রাউটার ইনফারেন্স খরচ দ্বিগুণ করতে পারে
Nvidia-র নতুন Nemotron 3.5 Lightning মাত্র ৩ B সক্রিয় প্যারামিটার ব্যবহার করে একটি ৩০ B MoE মডেল পরিচালনা করে, তবে মডেল পরিবর্তনের সময় এর NeMo Switchyard রাউটিং লেয়ার ক্যাশ করা প্রম্পটগুলো মুছে ফেলতে পারে, যা কার্যত একটি একক ইনফারেন্স রিকোয়েস্টের খরচ দ্বিগুণ করে দেয়।