Microsoft a dévoilé la dernière version de son modèle d’intelligence artificielle (IA) léger, Phi-3 Mini, qui constitue la première version d’une série de trois modèles compacts.
Avec 3,8 milliards de paramètres, Phi-3 Mini est entraîné sur un ensemble de données relativement moins important que des mastodontes comme GPT-4 et est désormais accessible sur les plateformes Azure, Hugging Face et Ollama.
La feuille de route de Microsoft prévoit le lancement ultérieur de Phi-3 Small (7 milliards de paramètres) et de Phi-3 Medium (14 milliards de paramètres), où les paramètres indiquent la capacité du modèle à comprendre des instructions complexes.
Le lancement de Phi-2 en décembre a permis d’égaler les performances de modèles plus grands comme Llama 2.
Selon Microsoft, Phi-3 surpasse son prédécesseur, offrant des réponses comparables à des modèles dix fois plus grands.
Eric Boyd, vice-président de Microsoft Azure AI Platform, affirme que Phi-3 Mini rivalise avec les grands modèles de langage (LLM) tels que GPT-3.5, bien que dans un format plus compact.
Par ailleurs, comparés à leurs homologues plus grands, les modèles d’IA plus petits offrent un fonctionnement rentable et des performances supérieures sur les appareils personnels tels que les smartphones et les ordinateurs portables.
Les efforts de Microsoft dans ce sens incluent Orca-Math, conçu pour résoudre des problèmes mathématiques.
De même, des concurrents comme Google et Anthropic proposent des modèles d’IA compacts, chacun destiné à des tâches spécifiques telles que le résumé de documents, l’aide au codage ou la lecture et le résumé d’articles de recherche denses.
Boyd explique que les développeurs ont utilisé un programme d’études pour former Phi-3, en s’inspirant des processus d’apprentissage de l’enfance caractérisés par des récits plus simples et une complexité progressive, à l’instar des histoires racontées à l’heure du coucher et des livres pour débutants.
Le LLM utilise des livres pour enfants pour enseigner le Phi-3 de Microsoft
Le Phi-3 de Microsoft s’est inspiré de récits rédigés par d’autres LLM au cours de son processus d’apprentissage.
Boyd mentionne la rareté des livres pour enfants et explique leur approche en compilant une liste de plus de 3 000 mots et en chargeant un LLM de créer des livres pour enfants afin d’éduquer Phi.
Le développement de Phi-3 s’appuie sur les avancées de ses prédécesseurs. Alors que Phi-1 a donné la priorité au codage et que Phi-2 a approfondi le raisonnement, Phi-3 excelle dans le codage et le raisonnement.
Bien qu’elle possède des connaissances générales, la série Phi-3 fait pâle figure par rapport à des modèles plus larges tels que le GPT-4 ou d’autres LLM.
Boyd souligne le caractère pratique des modèles plus petits comme Phi-3 pour les applications personnalisées en raison de leur efficacité avec des ensembles de données plus petits et des coûts de calcul plus faibles.
