Alibaba dévoile son nouveau modèle d’IA « Animate Anyone

Le géant chinois du commerce électronique Alibaba Group Holding Ltd. a présenté son nouveau modèle d’intelligence artificielle (IA), Animate Anyone, qui est décrit comme étant capable d’animer presque n’importe quoi à partir d’une image fixe.

Développée par l’équipe de recherche de l’entreprise, l’Institute for Intelligent Computing, la technologie se spécialise dans la transformation de photos en vidéos avec « moins de pépins et sans doigts supplémentaires », selon Alibaba.

La société basée à Hangzhou a également déclaré qu’Animate Anyone profiterait bientôt aux influenceurs en générant des vidéos de courte durée à partir d’une seule image, ce qui pourrait permettre de nouveaux cas d’utilisation tels que des tenues fabriquées par l’IA et créer un marché pour des vidéos de masse sur mesure.

Suscitant un vif intérêt en ligne, Alibaba prévoit d’offrir aux utilisateurs intéressés une démonstration et un code de sa nouvelle méthode de conversion d’images en vidéos, à une date qui reste à déterminer.

Animate Anyone a encore besoin de travail

Animate Anyone d’Alibaba représente une amélioration par rapport aux modèles d’IA précédents tels que Disco et Dreampose.

Toutefois, des experts ont mis en garde contre le risque de voir cette technologie poser d’autres problèmes si elle est utilisée de manière irresponsable.

Les techniques de conversion d’images en vidéos telles qu’Animate Anyone permettent d’obtenir les informations nécessaires, telles que les traits du visage du sujet, les motifs et la pose sur la photo.

Une série d’images est ensuite créée sur la base de ces détails qui ont été mis en correspondance avec des poses légèrement différentes, qui sont ensuite capturées par le mouvement ou obtenues à partir d’une autre vidéo.

Des modèles similaires antérieurs ont prouvé qu’une telle capacité était réalisable, même si cela n’a pas été sans complications.

L’hallucination aurait été un problème majeur, car la technologie était censée générer de petits détails, tels que la façon dont une partie des vêtements ou des cheveux d’une personne pouvait bouger en fonction de ses mouvements.

La complexité du processus a donné lieu à des visuels générés de manière étrange, conduisant à des vidéos qui n’étaient pas près de sembler réelles.

Animate Anyone est une version améliorée des précédents outils d’animation par l’IA, même s’il s’agit d’un travail en cours.

Il a été noté que le modèle d’Alibaba comporte une nouvelle étape intermédiaire qui lui permet d’apprendre le lien avec la photo référencée dans un espace de caractéristiques cohérent, ce qui contribue considérablement à améliorer la conservation des détails de l’apparence.