Le routeur Switchyard de Nemotron 3.5 Lightning peut doubler les coûts d'inférence
Le nouveau Nemotron 3.5 Lightning de Nvidia utilise un modèle MoE de 30 B avec seulement 3 B de paramètres actifs, mais sa couche de routage NeMo Switchyard peut supprimer les prompts mis en cache lors du changement de modèle, doublant ainsi concrètement le coût d'une seule requête d'inférence.