Meta a annoncé son intention d'achever la construction d'un supercalculateur qui deviendra le plus rapide du monde cette année.Nommé AI Research SuperCluster (RSC), dont 760 ensembles de NVIDIA DGX A100 formeront un module de calcul accéléré avec un total de 6080 ensembles de GPU.
Comparé au supercalculateur de première génération de 2017, composé de 22000 100 GPU NVIDIA V35000 Tensor Core et capable d'effectuer 20 9 tâches d'entraînement par jour, le SuperCluster de recherche I de nouvelle génération atteindra une efficacité de charge de travail 3 fois supérieure. Les performances de calcul de NCCL, une infrastructure de communication multi-GPU, seront multipliées par environ XNUMX, et celles des processus d'entraînement en langage naturel à grande échelle seront multipliées par XNUMX.
En plus des 760 NVIDIA DGX A100, le supercalculateur utilise des baies de stockage Pure Storage FlashArray d'une capacité de stockage totale de 175 pétaoctets, 46 pétaoctets de mémoire cache fournie par les systèmes Penguin Computing Altus et un système de stockage de fichiers et d'objets de nouvelle génération Pure Storage FlashBlade d'une capacité de 10 pétaoctets.
Après le calcul global, le système sera distribué aux nœuds ayant des besoins de calcul différents via le réseau InfiniBand, à un débit de transmission de 16 To par seconde. Parallèlement, Meta prévoit d'augmenter le débit de transmission à 1 exaoctet par seconde et de porter le nombre de GPU à 16000 5 groupes pour répondre aux besoins de calcul plus rapides. Il devrait atteindre des performances de calcul allant jusqu'à 2.5 exaflops, et l'efficacité de l'entraînement de l'intelligence artificielle sera multipliée par XNUMX.
Le SuperCluster de recherche en IA sera utilisé pour les modèles de langage naturel, la vision par ordinateur à grande échelle et des applications telles que l'analyse de texte, la reconnaissance d'images et la recherche de contenu vidéo. Il devrait également être appliqué au développement du Métaverse, qui fait partie du Projet Méta.
