Indian Voters Are Being Bombarded With Millions of Deepfakes. Political Candidates Approve

Sur une étouffement Après-midi d'avril à Ajmer, dans l'État indien du Rajasthan, le politicien local Shakti Singh Rathore s'est assis devant un écran vert pour tourner une courte vidéo. Il avait l'air nerveux. C'était la première fois que la première fois était cloné.

Portant une chemise blanche croquante et une écharpe de safran cérémonielle portant une fleur de lotus – le logo du BJP, le parti au pouvoir du pays – Rathore a pressé ses paumes ensemble et a salué son public en hindi. «Namashkar», a-t-il commencé. «À tous mes frères -»

Avant qu'il ne puisse continuer, le directeur du tournage est entré dans le cadre. Divyendra Singh Jadoun, une femme de 31 ans avec une tête chauve et une épaisse barbe noire, a déclaré à Rathore qu'il se déplaçait trop devant la caméra. Jadoun essayait de capturer suffisamment de données audio et vidéo pour construire une profondeur de l'IA de Rathore qui convaincrait 300 000 électeurs potentiels autour d'Ajmer qu'ils avaient eu une conversation personnalisée avec lui – mais un excès de mouvement briserait l'algorithme. Jadoun a dit à son sujet de regarder directement dans la caméra et de ne bouger que ses lèvres. “Recommencez”, a-t-il dit.

Chez Polymath Synthetic Media Solutions, Deepfaker autodidacte Divyendra Singh Jadoun recueille des données vidéo et audio de politiciens locaux afin de traduire leur discours en différentes langues pour la sensibilisation des électeurs. Ici, le discours de Shakti Singh Rathore est généré en hindi, tamoul, sanskrit et marathi. Vidéo: Nilesh Christopher / Divyendra Singh Jadoun / Wired

À l'heure actuelle, la plus grande démocratie du monde va aux urnes. Près d'un milliard d'Indiens sont éligibles pour voter dans le cadre des élections générales du pays, et Deepfakes pourrait jouer un rôle décisif et potentiellement divisé. Les partis politiques de l'Inde ont exploité l'IA pour déformer la réalité à bon marché faux audio, images de propagandeet tu as parodies. Mais alors que le discours mondial sur Deepfakes se concentre souvent sur la désinformation, la désinformation et d'autres préjudices sociétaux, de nombreux politiciens indiens utilisent la technologie dans un but différent: la sensibilisation des électeurs.

Dans le spectre idéologique, ils comptent sur l'IA pour les aider à naviguer dans les 22 langues officielles du pays et les milliers de dialectes régionaux, et pour livrer des messages personnalisés dans des communautés plus éloignées. Pendant que les États-Unis ont récemment fait illégal Pour utiliser des voix générées par l'AI pour les appels non sollicités, en Inde, des Forfakes sanctionnés sont devenus une opportunité commerciale de 60 millions de dollars. Plus de 50 millions d'appels de clones vocaux générés par l'IA ont été effectués au cours des deux mois précédant le début des élections en avril – et des millions d'autres seront effectués pendant le vote, a déclaré Wired l'un des plus grands opérateurs de messagerie commerciale du pays.

Jadoun est l'affiche de cette industrie en plein essor. Son entreprise, Polymath Synthetic Media Solutions, est l'un des nombreux fournisseurs de services DeepFake de toute l'Inde qui ont émergé pour répondre à la classe politique. Cette saison électorale, Jadoun a livré cinq campagnes en IA jusqu'à présent, pour lesquelles son entreprise a été payée au total de 55 000 $. (Il facture beaucoup moins que les grands consultants politiques – 125 000 roupies [$1,500] faire un avatar numérique et 60 000 roupies [$720] pour un clone audio.) Il a fait des fesses profondes pour Prem Singh Tamang, le ministre en chef de l'État himalayen du Sikkim, et a ressuscité YS Rajasekhara Reddy, un politicien emblématique décédé dans un accident d'hélicoptère en 2009, pour approuver son fils Ys Jagan Mohan Reddy , actuellement ministre en chef de l'État d'Andhra Pradesh. Jadoun a également créé des chansons de propagande générées par l'IA pour plusieurs politiciens, dont Tamang, un candidat local au Parlement, et le ministre en chef de l'État occidental du Maharashtra. “Il est notre fierté”, a dirigé une chanson en hindi à propos d'un politicien local à Ajmer, avec des voix masculines et féminines fixées sur un air énergique. “Il a toujours été impartial.”

Jadoun fabrique également des chansons de campagne générées par AI, y compris celle-ci pour le politicien local Ram Chandra Choudhary à Ajmer. Traduit en anglais, les paroles se lisent: «Pour Ajmer, il a apporté un nouveau cadeau / son nom est Ram Chandra / Il aide tout le monde / il était le président d'Ajmer Dairy / Il a toujours été impartial / Il a du RAM en son nom / il est notre fierté / Il est un soldat du Congrès / partage l'angoisse publique / fils d'Ajmer / A Guardian of Development / Son of Ajmer / True Forme of Development / Fight pour les droits de tous / Ram Chandra a joué la clarinette. » Audio: Divyendra Singh Jadoun

Bien que Rathore ne soit pas en place pour les élections cette année, il est l'un des plus de 18 millions de bénévoles du BJP chargés de s'assurer que le gouvernement du Premier ministre Narendra Modi maintient son emprise sur le pouvoir. Dans le passé, cela aurait signifié passer des mois à sillonner le Rajasthan, un État désert à peu près la taille de l'Italie, pour parler aux électeurs individuellement, leur rappelant comment ils ont bénéficié de divers programmes sociaux du BJP – pensions, réservoirs gratuits pour la cuisine, espèces paiements pour les femmes enceintes. Mais avec l'aide de Deepfakes de Jadoun, le travail de Rathore est devenu beaucoup plus facile.

Il passera 15 minutes ici à parler à la caméra de certains des principaux problèmes électoraux, tandis que Jadoun l'invite à des questions. Mais peu importe ce qu'il dit. Tout ce qui a besoin de Jadoun est la voix de Rathore. Une fois cela fait, Jadoun utilisera les données pour générer des vidéos et des appels qui iront directement aux téléphones des électeurs. Au lieu de frapper à leur porte ou une poignée de main rapide lors d'un rassemblement, ils verront ou entendront Rathore s'adresser à eux par leur nom et parler avec une spécificité étrange des problèmes qui leur importent le plus et leur demander de voter pour le BJP. S'ils posent des questions, l'IA devrait réagir – d'une voix claire et calme qui est presque meilleure que le traction rapide du vrai Rathore. Moins d'électeurs avertis peuvent même ne pas se rendre compte qu'ils ont parlé à une machine. Même Rathore admet qu'il ne sait pas grand-chose sur l'IA. Mais il comprend la psychologie. «De tels appels peuvent aider avec les électeurs swing.»

Brosser les épaules avec Les politiciens ne sont pas nouveaux pour Jadoun. Il était un. En 2015, il s'est présenté aux élections à Ajmer en tant que présidente de district du National Students Union of India (NSUI), l'aile jeunesse du Congrès national indien, le parti national autrefois formidable qui est maintenant la principale opposition du BJP de Modi.