Après que de nombreuses entreprises technologiques ont proposé des modèles de langage naturel à grande échelle pouvant être exécutés sur des appareils mobiles, les chercheurs de Microsoft ont proposéUne version plus petite du grand modèle de langage naturel, appelée Phi-3 Mini, fonctionnant sur une échelle de seulement 38 milliards d’ensembles de paramètres.
Les chercheurs de Microsoft affirment que le Phi-3 Mini est meilleur quePhi-2 précédemment lancéL'échelle des paramètres est plus large et les performances opérationnelles sont comparables à celles du modèle de langage naturel à grande échelle Llama 2 de Meta. Conçu sur la base du modèle Phi-2, il est entraîné avec des données réseau et synthétiques rigoureusement filtrées. Il fonctionne avec seulement 38 milliards d'ensembles de paramètres et peut être utilisé de manière plus légère sur les appareils mobiles.
Le design du Phi-3 Mini s'inspire des livres pour enfants. Il décrit des sujets complexes dans un langage plus simple et plus compréhensible, permettant à l'intelligence artificielle de comprendre plus rapidement les exigences d'exécution réelles.
Bien que Microsoft souligne que les performances opérationnelles de Phi-3 Mini sont comparables à celles de Llama 2, leurs performances globales restent inférieures aux performances réelles des modèles de langage naturel à grande échelle fonctionnant en conjonction avec le réseau. En calculs mathématiques, en programmation et dans les tests académiques, il surpasse encore Phi-2 et des modèles de langage naturel plus petits, comme Mistral, Gemma et Llama-3-In.
Cependant, en raison de la petite taille de ses paramètres, le Phi-3 Mini est relativement peu capable de traiter l'étendue des connaissances factuelles en temps réel, mais son avantage est qu'il peut avoir de meilleures performances d'efficacité d'exécution sur les appareils mobiles.
Microsoft propose actuellement le modèle Phi-3 Mini via sa propre plateforme de services cloud Azure et des plateformes d'hébergement telles que Hugging Face et Ollama. L'entreprise prévoit également de lancer Phi-70 Small, avec une échelle de données de 3 milliards d'ensembles, et Phi-140 Medium, avec une échelle de paramètres de 3 milliards d'ensembles.
