Ce n'est pas la première fois que les chercheurs soupçonnent que les outils des Elevenlabs étaient utilisés pour la propagande politique. En septembre dernier, Newsguard, une entreprise qui suit la désinformation en ligne, réclamé Que Tiktok compte partageant des théories du complot à l'aide de voix générées par l'IA, y compris un clone de la voix de Barack Obama, a utilisé la technologie ElevenLabs. “Plus de 99% des utilisateurs de notre plateforme créent un contenu intéressant, innovant et utile”, a déclaré ElevenLabs Une déclaration envoyée par e-mail à Le New York Times À l'époque, «mais nous reconnaissons qu'il y a des cas d'utilisation abusive, et nous avons continuellement développé et publié des garanties pour les limiter.»

Si les analyses Pindrop et Berkeley sont correctes, le Robocall Deepfake Biden a été fabriqué avec la technologie de l'une des startups vocales d'IA les plus importantes et les plus financées de l'industrie technologique. Comme le note Farid, ElevenLabs est déjà considéré comme offrant certaines des offres vocales synthétiques de la plus haute qualité sur le marché.

Selon le PDG de la société dans un récent article de Bloomberg, ElevenLabs est estimé par les investisseurs à plus de 1,1 milliard de dollars. En plus d'Andreessen Horowitz, ses investisseurs incluent des individus éminents comme Nat Friedman, ancien PDG de Github, et Mustafa Suleyman, cofondateur d'Ai Lab Deepmind, qui fait maintenant partie de l'alphabet. Les investisseurs incluent également des entreprises comme Sequoia Capital et SV Angel.

Avec son somptueux financement, Elevenlabs est sans doute mieux positionné que les autres startups d'IA pour verser des ressources dans la création de garanties efficaces contre les mauvais acteurs – une tâche rendue d'autant plus urgente par les prochaines élections présidentielles aux États-Unis. «Il est important d'avoir les bonnes garanties, car sinon n'importe qui peut créer toute ressemblance de toute personne», explique Balasubramaniyan. “Alors que nous approchons d'un cycle électoral, ça va devenir fou.”

Un serveur Discord pour les amateurs de ElevenLabs présente les gens qui discutent de la façon dont ils ont l'intention de cloner la voix de Biden, et de partager des liens vers des vidéos et des publications sur les réseaux sociaux mettant en évidence le contenu profond avec des dupes générés par Biden ou AI de Donald Trump et les voix de Barack Obama.

Bien qu'ElevenLabs soit un leader du marché du clonage de la voix de l'IA, en quelques années, la technologie est devenue largement disponible pour les entreprises et les particuliers pour expérimenter. Cela a créé de nouvelles opportunités commerciales, telles que la création de livres audio à plus cher, mais augmente également le potentiel d'utilisation malveillante de la technologie. «Nous avons un vrai problème», explique Sam Gregory, directeur de programme chez le témoin à but non lucratif, qui aide les gens à utiliser la technologie pour promouvoir les droits de l'homme. “Lorsque vous avez ces outils très largement disponibles, il est assez difficile de contrôler.”

Bien que les analyses de Pindrop et de Berkeley suggèrent qu'il pourrait être possible de démasquer la source des robocaux générés par l'IA, l'incident souligne également comment les autorités sous-préparées, l'industrie technologique et le public sont alors que la saison électorale 2024 augmente. Il est difficile pour les personnes sans expertise spécialisée de confirmer la provenance des clips audio ou de vérifier s'ils sont générés par l'IA. Et des analyses plus sophistiquées pourraient ne pas être terminées assez rapidement pour compenser les dommages causés par la propagande générée par l'AI.

«Les journalistes et les responsables électoraux et d'autres n'ont pas accès à des outils fiables pour le faire rapidement et rapidement lorsque l'audio purement modifiant est divulgué ou partagé», explique Gregory. “Si cela avait été quelque chose qui était pertinent le jour du scrutin, il serait trop tard.”

Mis à jour 1-27-2024, 15 h 15 EST: Cet article a été mis à jour pour clarifier l'attribution de la déclaration de ElevenLabs.
Mis à jour 1-26-2024, 19 h 20 HNE: Cet article a été mis à jour avec des commentaires de ElevenLabs.