Pour conserver sa position dominante dans le secteur ultra-concurrentiel de l'IA, la stratégie de NVIDIA ne se limite plus à la simple vente de matériel GPU, suite à une série d'annonces récentes...Investir dans des sociétés comme OpenAI et acquérir une participation dans la société d'automatisation de la conception électronique Synopsys.Auparavant, elle avait annoncé l'acquisition de SchedMD, développeur de logiciels de planification de charges de travail open source, et avait lancé une nouvelle architecture hybride Mamba-Transformer.Modèles d'IA de la série Nemotron 3Cette série d'actions démontre que NVIDIA tente de se constituer un écosystème redoutable, englobant tout, de la gestion de la puissance de calcul sous-jacente aux applications modèles de niveau supérieur.
L'acquisition de SchedMD vous donne le contrôle de la puissance de calcul de l'IA, faisant de vous un « gestionnaire du trafic ».
NVIDIA a annoncé l'acquisition de [nom de l'entreprise manquant], une société basée en Californie.SchedMDCette société est peut-être inconnue du grand public, mais elle est bien connue dans le domaine des supercalculateurs et du calcul haute performance (HPC) car elle est le principal responsable de la maintenance et du support commercial du célèbre gestionnaire de charges de travail open source Slurm.
Slurm est largement utilisé dans les centres de données et les supercalculateurs (y compris les systèmes de NVIDIA) du monde entier pour la gestion de l'ordonnancement des tâches de calcul à grande échelle. Face à l'explosion des besoins en entraînement et en inférence de l'IA générative, l'ordonnancement efficace de dizaines de milliers de GPU est devenu crucial, d'où une demande accrue pour les applications Slurm.
Dans son blog officiel, NVIDIA a souligné qu'elle maintiendrait le modèle économique open source de SchedMD après son acquisition. Grâce à cette acquisition, NVIDIA peut non seulement optimiser davantage ce composant essentiel de l'infrastructure d'IA grâce à son propre matériel, mais aussi renforcer ses liens avec les clients d'infrastructures cloud (tels que CoreWeave) et les institutions de recherche académiques.
Nemotron 3 fait ses débuts : l’architecture Mamba brise le trilemme
Le même jour, NVIDIA a également dévoilé sa dernière série de modèles d'IA, « Nemotron 3 ». Cette mise à jour ne se limite pas à l'accumulation de paramètres, mais repose avant tout sur une innovation architecturale.
Kari Briski, vice-présidente de NVIDIA en charge des logiciels d'IA générative, a souligné que les développeurs sont actuellement confrontés à un triple défi : être « extrêmement ouverts, extrêmement intelligents et extrêmement efficaces ». Pour surmonter ce goulot d'étranglement, Nemotron 3 adopte une architecture de modèle expert hybride (MoE) qui combine le modèle Mamba, récemment apparu, avec le modèle Transformer, largement utilisé.
L'avantage de cette architecture hybride réside dans l'introduction d'un « modèle d'espace d'état sélectif », qui lui permet de gérer des contextes extrêmement longs allant jusqu'à 100 million de jetons sans avoir besoin de construire des cartes d'attention et des caches massifs comme les Transformers traditionnels.
D'après les données de NVIDIA, Nemotron 3 présente les améliorations suivantes :
• Débit :Il est 4 fois meilleur que son prédécesseur.
• Coût d'inférence :En réduisant de 60 % la génération de jetons d'inférence, les coûts d'exploitation sont considérablement réduits.
NeMo Gym se lance en trois tailles.
La série Nemotron 3 est disponible en trois spécifications selon le scénario d'application :
• Nano (30B) :Pour des tâches spécifiques exigeant une efficacité élevée.
• Super (100B) :Il offre une grande précision et convient aux applications multi-agents.
• Ultra (500B) :Un moteur d'inférence à grande échelle spécialisé dans les calculs complexes.
Par ailleurs, NVIDIA a lancé « NeMo Gym », un laboratoire d'apprentissage par renforcement qui permet aux développeurs d'entraîner des modèles et des agents dans un environnement simulé, un peu comme si l'IA s'entraînait dans une salle de sport. Des entreprises telles qu'Oracle, Siemens et Zoom l'ont déjà adopté.
Analyse : De « Vendre des pelles » à « Construire des châteaux »
À mon avis, les deux stratégies de NVIDIA sont plutôt astucieuses et défensives.
L'acquisition de SchedMD visait à consolider la couche sous-jacente : lorsque tout le monde utilisera Slurm pour planifier les GPU, NVIDIA contrôlera la couche du système d'exploitation du centre de données, empêchant ainsi ses concurrents (tels qu'AMD ou Intel) de percer au niveau de la planification logicielle.
Le lancement de Nemotron 3 visait à définir de nouvelles normes : face aux limitations de performance croissantes de l’architecture Transformer, NVIDIA a pris les devants en misant sur l’architecture hybride Mamba et en fournissant une suite logicielle complète NeMo Gym. L’objectif n’était pas seulement d’augmenter les ventes de puces, mais aussi d’habituer les développeurs à l’écosystème logiciel NVIDIA. Lorsque l’architecture des modèles, les outils d’entraînement et la gestion de la puissance de calcul dépendent tous de NVIDIA, le coût du passage à d’autres plateformes devient beaucoup plus élevé.
