This AI Company Releases Deepfakes Into the Wild. Can It Control Them?
Au cours des six dernières années, la société a construit une bibliothèque vertigineuse d'Avatars. Ils sont disponibles dans différents sexes, tons de peau et uniformes. Il y a des hipsters et des travailleurs du centre d'appels. Le Père Noël est disponible en ethnies multiples. Dans la plate-forme de Synthesia, les clients peuvent personnaliser la langue que leurs avatars parlent, leurs accents, même à quel moment d'un script ils haussent les sourcils. Riparbelli dit que son préféré est Alex, un avatar classique mais banal qui semble être dans la mi-vingtaine et a les cheveux bruns de mi-longueur. Il y a une véritable version humaine d'Alex qui se promène dans les rues quelque part. Synthèse entraîne ses algorithmes Sur des images d'acteurs filmés dans ses propres studios de production.
Posséder ces données est un gros tirage aux investisseurs. «Fondamentalement, ce dont tous leurs algorithmes ont besoin, ce sont des données 3D, car il s'agit de comprendre comment les humains se déplacent, comment ils parlent», explique Philippe Botteri, associé de la société de capital-risque Accel, qui a dirigé le dernier tour de financement de Synthesia. “Et pour cela, vous avez besoin d'un ensemble de données très spécifiques qui n'est pas disponible.”
Aujourd'hui, Riparbelli est le rare type de fondateur qui peut parler de sa vision de la technologie qui change la donne tout en faisant le travail de grognement de l'inscription des clients actuels. «Utility Over Novely» est la société interne de Synthesia Mantra, explique-t-il. «Il est très important pour nous de créer une technologie pour de vrais marchés qui ont une valeur commerciale réelle, pas seulement pour produire des démos technologiques sympas.» À l'heure actuelle, la société prétend avoir 50 000 clients. Mais Riparbelli veut également développer une technologie qui peut permettre à quiconque d'utiliser du texte pour décrire une scène vidéo et regarder l'IA le générer. “Imaginez que vous aviez un tournage avec des gens devant vous, et vous devez leur dire quoi faire”, explique Riparbelli. «C'est ainsi que j'imagine que la technologie va fonctionner.»
Mais la technologie de la synthèse a un chemin à parcourir en premier. À l'heure actuelle, l'équipe R&D se concentre sur ce que Ripbarbelli appelle la «technologie fondamentale de l'IA». Les avatars de l'entreprise sont piégés dans des paquets invisibles, incapables de bouger leurs bras. Et sans surprise, laisser les faux humains se détacher dans la nature n'a pas été sans problèmes. Pendant plusieurs années, les avatars de la synthèse – en particulier un Deepfake à l'apparence faisant autorité, la société appelle Jason – a fait usurper l'identité des présentateurs de nouvelles sur les réseaux sociaux, en lisant des scripts qui ont été écrits pour répandre la désinformation.
En décembre 2021, Jason est apparu sur une page Facebook associée à la politique au Mali, faisant des allégations selon lesquelles Les vérificateurs de faits appelés faux sur l'implication de la France dans la politique locale. Puis à la fin de 2022, il était là à nouveau, nous condamnant l'échec de la violence armée – avec la société d'analyse des médias sociaux Graphika enchaînement La vidéo revient à un réseau de bot pro-china. En janvier de cette année, les gens ont remarqué des avatars de synthèse exprimant leur soutien à un coup d'État militaire au Burkina Faso. Et en mars, les vérifications de faits ont soulevé l'alarme d'une autre vidéo liée à la synthèse circulant au Venezuela– Cette fois, c'était l'avatar Darren soutenant que les allégations d'une pauvreté généralisée dans le pays riche en pétrole avaient été exagérées. La vidéo a été stimulée par des comptes favorables au président Nicolas Maduro. En avril, le régulateur financier de la Californie a trouvé Avatar Gary utilisé dans une arnaque cryptographique, prétendant qu'il était un PDG légitime.