Nemotron 3.5 Lightning యొక్క Switchyard Router ఇన్ఫరెన్స్ ఖర్చులను రెట్టింపు చేయవచ్చు
Nvidia యొక్క కొత్త Nemotron 3.5 Lightning కేవలం 3 B యాక్టివ్ పారామితులతో 30 B MoE మోడల్ను నడుపుతుంది, కానీ దాని NeMo Switchyard రూటింగ్ లేయర్ మోడళ్లను మార్చేటప్పుడు క్యాష్ చేయబడిన ప్రాంప్ట్లను తొలగించగలదు, దీనివల్ల ఒకే ఇన్ఫరెన్స్ రిక్వెస్ట్ ఖర్చు సమర్థవంతంగా రెట్టింపు అవుతుంది.