The Dark Side of Open Source AI Image Generators

Que ce soit à travers la froncement haute définition Face d'un chimpanzé ou un psychédélique, rose et rouge DoppelGanger de lui-mêmeReuven Cohen utilise des images générées par l'AI pour attirer l'attention des gens. “J'ai toujours été intéressé par l'art et le design et la vidéo et que j'apprécie la réussite des limites”, dit-il – mais le consultant basé à Toronto, qui aide les entreprises à développer des outils d'IA, espère également sensibiliser les utilisations les plus sombres de la technologie.

«Il peut également être spécifiquement formé pour être assez horrible et mauvais de toutes les manières», explique Cohen. Il est fan de l'expérimentation en roue libre qui a été déchaînée par la technologie de génération d'images open source. Mais cette même liberté permet la création d'images explicites de femmes utilisées pour le harcèlement.

Après que les images non consensuelles de Taylor Swift se sont récemment répandues sur X, Microsoft a ajouté de nouveaux contrôles à son générateur d'images. Les modèles open source peuvent être réquisitionnés par à peu près n'importe qui et viennent généralement sans garde-corps. Malgré les efforts de certains membres d'espoir de la communauté pour dissuader les utilisations d'exploitation, l'open source libre pour tous est presque impossible à contrôler, selon les experts.

«Open Source a alimenté la fausse abus d'image et la pornographie non consensuelle. C'est impossible pour le sucre ou les qualifications », dit Henry Ajderqui a passé des années à rechercher une utilisation nocive de l'IA générative.

Ajder dit qu'en même temps qu'il devient un favori des chercheurs, des créatifs comme Cohen et des universitaires travaillant sur l'IA, le logiciel de génération d'images open source est devenu le fondement du porno Deepfake. Certains outils basés sur des algorithmes open source sont spécialement conçus pour des utilisations salaces ou harcelantes, telles que les applications «nudifier» qui éliminent numériquement les vêtements pour femmes dans les images.

Mais de nombreux outils peuvent servir à la fois des cas d'utilisation légitimes et harcelants. Un programme populaire d'échange de visage open source est utilisé par des gens de l'industrie du divertissement et en tant que «outil de choix pour les mauvais acteurs», ce qui fait des fesses de profondeur non consensuelles, dit Ajder. La diffusion stable du générateur d'images à haute résolution, développée par stabilité de stabilité AI, est censé avoir plus de 10 millions d'utilisateurs et a des garde-corps installés pour empêcher la création d'images explicites et politiques interdits Utilisation malveillante. Mais la société a également ouvert une version du générateur d'images en 2022 qui est personnalisable, et les guides en ligne expliquent comment contourner ses limitations intégrées.

Pendant ce temps, les petits modèles d'IA appelés Loras facilitent la réglage d'un modèle de diffusion stable pour produire des images avec un style, un concept ou une pose particuliers – comme une ressemblance d'une célébrité ou certains actes sexuels. Ils sont largement disponibles sur les marchés des modèles d'IA tels que Civitai, un site communautaire où les utilisateurs partagent et téléchargent des modèles. Là, un créateur d'un plug-in Taylor Swift a exhorté les autres à ne pas l'utiliser «pour les images NSFW». Cependant, une fois téléchargé, son utilisation est hors du contrôle de son créateur. «La façon dont l'open source fonctionne signifie qu'il sera assez difficile d'empêcher quelqu'un de détourner cela», explique Ajder.

4Chan, le site du babillard de messagerie basé sur l'image avec une réputation de modération chaotique abrite des pages consacrées au porno profondément non consensuel, Wired Found, réalisé avec des programmes ouvertement disponibles et des modèles d'IA dédiés uniquement aux images sexuelles. Les babillards électroniques pour les images pour adultes sont jonchés de nus non consensuels générés par l'AI de vraies femmes, des artistes pornographiques aux actrices comme Cate Blanchett. Wired a également observé des utilisateurs 4Chan partageant des solutions de contournement pour les images NSFW à l'aide de Dall-E 3 d'OpenAI.

Ce type d'activité a inspiré certains utilisateurs dans des communautés dédiées à la création d'images de l'IA, y compris sur Reddit et Discord, pour tenter de repousser la mer d'images pornographiques et malveillantes. Les créateurs se soucient également de l'inquiétude que le logiciel acquière une réputation pour les images NSFW, encourageant les autres à signaler des images représentant des mineurs sur Reddit et des sites d'hébergement de modèles. Les politiques de Reddit interdisent tous les «médias intimes non consensuels» générés par l'IA.