Nemotron 3.5 Lightning નું Switchyard Router ઇન્ફરન્સ ખર્ચને બમણો કરી શકે છે
Nvidia નું નવું Nemotron 3.5 Lightning માત્ર 3 B સક્રિય પેરામીટર્સ સાથે 30 B MoE મોડેલ ચલાવે છે, પરંતુ તેનું NeMo Switchyard રાઉટિંગ લેયર મોડેલ્સ બદલતી વખતે કેશ્ડ (cached) પ્રોમ્પ્ટ્સને રદ કરી શકે છે, જેનાથી સિંગલ ઇન્ફરન્સ રિક્વેસ્ટનો ખર્ચ અસરકારક રીતે બમણો થઈ શકે છે.