APMIC (Accelerate Private Machine Intelligence Company), un fournisseur de solutions d'IA d'entreprise fondé à Taiwan en 2017 et partenaire de NVIDIA dans le réglage fin des modèles, a annoncé une collaboration avec Twinkle AI, une communauté de recherche sur les modèles de langue chinoise traditionnelle, pour lancer Formosa-30, le premier modèle d'inférence de langue chinoise traditionnelle de Taiwan avec 1 milliards de paramètres pouvant être exécutés sur des appareils mobiles.
En outre, l'APMIC a également collaboré avec Twinkle AI pour ouvrir le code source du cadre d'évaluation efficace « Twinkle Eval », qui est utilisé pour évaluer l'efficacité des modèles d'intelligence artificielle, favorisant ainsi le développement de la technologie d'intelligence artificielle de Taiwan et la promotion des applications locales.
Formosa-1 a été développé par l'APMIC et la communauté Twinkle AI, avec le soutien technique et le partage d'expérience de l'équipe R&D du Centre national de calcul et de réseaux à haut débit (NHNC). Il s'agit du premier modèle linguistique à grande échelle de Taïwan, doté de 30 milliards de paramètres et compatible avec les téléphones portables.
Ce modèle est entraîné à l'aide du modèle de produit APMIC PrivAI, construit sur la plateforme complète NVIDIA NeMo, et utilisant la technologie de distillation. Les pondérations du modèle sont entièrement open source sous licence MIT, favorisant ainsi le développement d'applications technologiques d'intelligence artificielle open source en chinois traditionnel à Taïwan.
Pour améliorer ses capacités de raisonnement modèle, Formosa-1 a été formé avec des données adaptées à la chaîne de pensée de Taiwan (TCoT) et associé à NVIDIA NeMo Data Curator pour accélérer les services de gestion des données, garantissant de meilleures performances en matière de raisonnement juridique, de raisonnement logique et de déduction mathématique.
En termes de construction de données linguistiques, les données de formation de Formosa-1 couvrent 1000 milliards de jetons chinois traditionnels de haute qualité provenant de textes divers tels que des actualités, des documents juridiques, des essais et des discussions sociales, garantissant la compréhension et l'application précises des contextes chinois traditionnels par l'IA.
Twinkle Eval, un framework d'évaluation open source conçu pour les modèles d'inférence à grande échelle, est profondément intégré au modèle d'évaluation NVIDIA NeMo Evaluator pour prendre en charge les tests parallèles à grande échelle et garantir la stabilité et la précision du modèle dans plusieurs domaines.
Twinkle Eval garantit l'équité des tests en randomisant l'ordre des options, empêchant ainsi le modèle de mémoriser un ordre fixe. Il intègre également un mécanisme de tests répétés pour vérifier la stabilité du modèle par de multiples inférences indépendantes. L'outil comprend la banque de questions mixtes taïwanaise pour l'apprentissage général et professionnel (TMMLU+), le jeu de tests du corpus juridique taïwanais (tw-legal-benchmark-v1) et le jeu de tests de référence MMLU, garantissant ainsi l'étendue et la précision des tests.
De plus, grâce à un contrôle précis du format et à des mécanismes de correction des erreurs, « Twinkle Eval » peut garantir efficacement la cohérence des formats de réponse et réduire les taux d'erreur des tests.
