La fille de Drew Crecente est décédée en 2006, tuée par un ex-petit-ami à Austin, au Texas, alors qu'elle n'avait que 18 ans. Son meurtre a été très médiatisé, à tel point que Drew voyait encore occasionnellement des alertes Google pour son nom, Jennifer Ann Crecente.

L'alerte que Drew a reçue il y a quelques semaines n'était pas la même que les autres. Il s'agissait d'un chatbot IA, créé à l'image et à la ressemblance de Jennifer, sur la plateforme animée Character.AI, soutenue par Google.

La présence de Jennifer sur Internet, a appris Drew Crecente, a été utilisée pour créer un « personnage sympathique d'IA » qui se faisait faussement passer pour un « journaliste de jeux vidéo ». N’importe quel utilisateur de l’application pourrait discuter avec « Jennifer », même si personne n’avait donné son consentement. Le frère de Drew, Brian Crecente, qui se trouve être l'un des fondateurs des sites d'information sur les jeux Polygon et Kotaku, a signalé le robot Character.AI sur son compte Twitter et l'a appelé «putain de dégoûtant.»

Character.AI, qui a levé plus de 150 millions de dollars de financement et a récemment concédé sous licence certaines de ses technologies de base et de ses meilleurs talents à Google, a supprimé l'avatar de Jennifer. Il a reconnu que la création du chatbot violait ses politiques.

Mais cette application n’était qu’une solution rapide dans un jeu de coups de taupe sans fin au pays de l’IA générative, où de nouveaux médias sont produits chaque jour en utilisant des dérivés d’autres médias récupérés au hasard sur le Web. Et Jennifer Ann Crecente n'est pas le seul avatar créé sur Character.AI à l'insu des personnes sur lesquelles ils sont basés. WIRED a découvert plusieurs cas de création de personnages IA sans le consentement d'une personne, dont certains étaient des femmes déjà victimes de harcèlement en ligne.

Pour Drew Crecente, la création d’un personnage IA de sa fille était un autre rappel d’un chagrin insupportable, aussi complexe qu’Internet lui-même. Dans les années qui ont suivi le décès de Jennifer Ann Crecente, il a obtenu un diplôme en droit et a créé une fondation pour la sensibilisation et la prévention de la violence chez les adolescents. En tant qu’avocat, il comprend qu’en raison des protections de longue date des plateformes technologiques, il a peu de recours.

Mais l’incident a également mis en évidence pour lui ce qu’il considère comme l’un des échecs éthiques de l’industrie technologique moderne. « Les gens qui gagnent autant d'argent ne peuvent pas se donner la peine d'utiliser ces ressources pour s'assurer qu'ils font ce qu'il faut », dit-il.

Sur Character.AI, il ne prend que quelques minutes pour créer à la fois un compte et un personnage. Souvent un endroit où les fans vont créer des chatbots de leurs héros de fiction préférés, la plateforme héberge également tout, des robots tuteurs aux planificateurs de voyage. Les créateurs donnent aux robots “personnages» en fonction des informations qu'ils fournissent (« J'aime les lattés et les dragons », etc.), puis le LLM de Character.AI gère la conversation.

L'utilisation de la plateforme est gratuite. Bien qu'il ait des conditions d'âge pour les comptes (13 ans ou plus) et règles sur le fait de ne pas enfreindre la propriété intellectuelle ou d'utiliser des noms et des apparences sans autorisation, ces règles sont généralement appliquées après qu'un utilisateur a signalé un robot.

Le site regorge de robots apparemment créés par des fans et basés sur des personnages de franchises de fiction bien connues, comme Harry Potter ou Game of Thronesainsi que des personnages originaux créés par les utilisateurs. Mais parmi eux se trouvent également d'innombrables robots créés par des utilisateurs à partir de personnes réelles, depuis des célébrités comme Beyoncé et Travis Kelce jusqu'à des citoyens privés, qui semblent violer les conditions d'utilisation du site.