Google a annoncé lors de la Google I/O 2021Accélérateur TPU de quatrième génération, et a annoncé en 2022 qu'il serait construit sur l'accélérateur TPU de quatrième générationLe plus grand pôle d'apprentissage automatique, et a souligné qu'elle fonctionnait à 90 % avec une énergie décarbonée. Auparavant, elle avait souligné que l'accélérateur TPU de quatrième génération serait capable de piloter plus de 90 % de sa formation en intelligence artificielle, et avait même laissé entendre qu'une nouvelle génération d'accélérateurs TPU serait lancée prochainement.
Annoncé plus tôtGoogle a déclaré que par rapport à l'accélérateur TPU de troisième génération, l'accélérateur TPU de quatrième génération peut améliorer les performances d'apprentissage en profondeur de plus de 10 fois, et peut réduire la consommation d'énergie d'environ 2 à 3 fois dans le processus actuel de calcul DSA d'apprentissage en profondeur, et peut réduire les émissions de dioxyde de carbone de plus de 20 fois dans le processus d'exploitation des centres de données traditionnels déployés en interne.
En tirant parti des performances, de l'évolutivité et des fonctionnalités d'économie d'énergie de l'accélérateur TPU de quatrième génération, Google a déclaré qu'il serait en mesure d'accélérer la formation de modèles de langage naturel à grande échelle tout en réduisant considérablement la consommation énergétique globale du centre de données.
Google a récemment annoncé que PaLM, son plus grand modèle de langage naturel avec 5400 milliards de paramètres, a été entraîné en plus de 50 jours sur un supercalculateur équipé d'un accélérateur TPU de quatrième génération. Par ailleurs, la startup Midjourney, qui fournit un service d'IA générant automatiquement des images à partir de texte, a également entraîné son modèle sur un supercalculateur équipé de l'accélérateur TPU de quatrième génération de Google.
Google a également souligné que par rapport à l'accélérateur A100 de NVIDIA construit avec l'architecture d'affichage Ampere, l'accélérateur TPU de quatrième génération présente une augmentation d'environ 1.7 fois de la puissance de calcul et une réduction de 1.9 fois de la consommation d'énergie à la même échelle.
Cependant, Google n’a pas continué à coopérer avec NVIDIA pour lancerAccélérateur H100 construit sur l'architecture HopperLa comparaison s'explique par le fait que les deux produits n'ont pas été lancés simultanément, mais elle implique également qu'une nouvelle génération d'accélérateur TPU sera lancée prochainement pour concurrencer l'accélérateur H100. Cependant, les détails précis n'ont pas encore été annoncés, et cette annonce pourrait intervenir lors de la Google I/O 2023 cette année.
