Tag: MiLM-6B

Des rapports indiquent que Xiaomi étend son propre cluster de calcul GPU et prévoit d'investir dans la création de son propre modèle de langage naturel à grande échelle afin de stimuler le développement de ses services d'applications d'IA. Selon certaines sources, Xiaomi aurait lancé ce projet il y a plusieurs mois, sous l'impulsion de son PDG, Lei Jun. Cependant, Xiaomi n'a pas encore commenté ces rumeurs. Auparavant, Xiaomi avait déjà investi dans le développement d'applications d'IA, notamment avec le lancement anticipé de Xiao Ai (son assistant IA), la création d'une équipe dédiée à l'IA en 2016 et des investissements ultérieurs dans la technologie de conduite autonome. En avril 2023, Xiaomi a constitué l'équipe de son laboratoire d'IA chargée du modèle de langage naturel à grande échelle, en recrutant de nombreux talents techniques, dont Luan Jian, ancien chercheur à l'Institut de recherche Toshiba Chine, chercheur principal en phonétique à l'Institut d'ingénierie Microsoft Chine et linguiste en chef chez Microsoft Xiaoice, qui dirige cette équipe. Xiaomi a déjà développé un modèle de traitement du langage naturel (NLP) à grande échelle, MiLM-13B, comportant 1.3 milliard de paramètres, pour ses appareils mobiles. Dans certains cas, ses performances de calcul sont proches de celles du modèle de traitement automatique du langage naturel (TALN) MiLM-6B à 6 milliards de paramètres déployé dans le cloud. Ce modèle TALN à grande échelle est également intégré à la nouvelle version de Xiao Ai, permettant une interaction conversationnelle plus naturelle. Au cours des sept dernières années, Xiaomi a connu six phases d'expansion, portant ses effectifs techniques à plus de 3 000 personnes. Ses technologies d'IA couvrent la vision, l'acoustique, la parole, le TALN, les graphes de connaissances, l'apprentissage automatique, les modèles TALN à grande échelle et les opérations multimodales, et sont utilisées dans les téléphones mobiles, les objets connectés, les robots et les véhicules.