Meta vient d'annoncer son propre modèle d'IA axé sur les médias, appelé Movie Gen, qui peut être utilisé pour générer des clips vidéo et audio réalistes.

La société a partagé plusieurs clips de 10 secondes générés avec Génération de filmsy compris un bébé hippopotame Moo Deng nageant, pour démontrer ses capacités. Bien que l'outil ne soit pas encore disponible, cette annonce de Movie Gen intervient peu de temps après son événement Meta Connect, qui a présenté du matériel nouveau et actualisé et la dernière version de son grand modèle de langage, Llama 3.2.

Allant au-delà de la génération de simples clips texte-vidéo, le modèle Movie Gen peut apporter des modifications ciblées à un clip existant, comme ajouter un objet entre les mains de quelqu'un ou modifier l'apparence d'une surface. Dans l’un des exemples de vidéos de Meta, une femme portant un casque VR a été transformée pour ressembler à des jumelles steampunk.

Des extraits audio peuvent être générés parallèlement aux vidéos avec Movie Gen. Dans les exemples de clips, un homme IA se tient près d'une cascade avec des éclaboussures audibles et les sons pleins d'espoir d'une symphonie ; le moteur d'une voiture de sport ronronne et les pneus crissent alors qu'elle parcourt la piste, et un serpent glisse sur le sol de la jungle, accompagné de klaxons pleins de suspense.

Meta a partagé quelques détails supplémentaires sur Movie Gen dans un document de recherche publié vendredi. Movie Gen Video comprend 30 milliards de paramètres, tandis que Movie Gen Audio comprend 13 milliards de paramètres. (Le nombre de paramètres d'un modèle correspond à peu près à ses capacités ; en revanche, la plus grande variante de Llama 3.1 compte 405 milliards de paramètres.) Movie Gen peut produire des vidéos haute définition d'une durée maximale de 16 secondes, et Meta affirme qu'il surpasse les modèles concurrents. en qualité vidéo globale.

Plus tôt cette année, le PDG Mark Zuckerberg a présenté la fonctionnalité Imagine Me de Meta AI, où les utilisateurs peuvent télécharger une photo d'eux-mêmes et jouer leur visage dans plusieurs scénarios, en publiant une image IA de lui-même. noyé dans les chaînes en or sur les discussions. Une version vidéo d’une fonctionnalité similaire est possible avec le modèle Movie Gen – considérez-le comme une sorte d’ElfYourself sous stéroïdes.

Sur quelles informations Movie Gen a-t-il été formé ? Les détails ne sont pas clairs dans le message d'annonce de Meta : “Nous avons formé ces modèles sur une combinaison d'ensembles de données sous licence et accessibles au public.” Les sources des données de formation et ce qui est juste à extraire du Web restent une question controversée pour les outils d'IA générative, et le public sait rarement quels textes, vidéos ou clips audio ont été utilisés pour créer l'un des principaux modèles.

Il sera intéressant de voir combien de temps il faudra à Meta pour rendre Movie Gen largement disponible. Le blog d’annonce fait vaguement allusion à une « future version potentielle ». À titre de comparaison, OpenAI a annoncé son modèle vidéo d'IA, appelé Sora, plus tôt cette année et ne l'a pas encore rendu public ni partagé de date de sortie à venir (bien que WIRED ait reçu quelques clips Sora exclusifs de la société pour une enquête sur les préjugés). ).

Compte tenu de l'héritage de Meta en tant que société de médias sociaux, il est possible que des outils alimentés par Movie Gen commencent à apparaître, à terme, sur Facebook, Instagram et WhatsApp. En septembre, le concurrent Google a annoncé son intention de mettre certains aspects de son modèle vidéo Veo à la disposition des créateurs dans ses courts métrages YouTube au cours de l'année prochaine.

Alors que les grandes entreprises technologiques tardent encore à publier pleinement leurs modèles vidéo au public, vous pouvez dès maintenant expérimenter les outils vidéo d'IA de startups plus petites et à venir, comme Piste et Pika. Donnez un tour à Pikaffects si vous avez déjà été curieux de savoir ce que ce serait de vous voir écrasé de façon caricaturale avec une presse hydraulique ou fondre soudainement dans une flaque d'eau.