Openai n'avait pas répondu à une demande de commentaires sur le botnet au moment de la publication. Le politique d'utilisation Pour ses modèles d'IA, interdit les utiliser pour les escroqueries ou la désinformation.

ChatGpt et d'autres chatbots de pointe, utilisez ce qui est connu comme des modèles de gros langues pour générer du texte en réponse à une invite. Avec suffisamment de données d'entraînement (en grande partie éraflées à partir de diverses sources sur le Web), suffisamment de puissance informatique et des commentaires de testeurs humains, des robots comme Chatgpt peuvent répondre de manière étonnamment sophistiquée à un large éventail d'intrants. Dans le même temps, ils peuvent également empêcher les messages haineux, présenter des préjugés sociaux et inventer les choses.

Un botnet basé sur ChatGPT correctement configuré serait difficile à repérer, plus capable de duper les utilisateurs et plus efficace pour jouer les algorithmes utilisés pour hiérarchiser le contenu sur les réseaux sociaux.

«Il trompe à la fois la plate-forme et les utilisateurs», explique Menczer à propos du botnet alimenté par ChatGPT. Et, si un algorithme des médias sociaux aperçoit qu'un message a beaucoup d'engagement – même si cet engagement provient d'autres comptes de robots – il montrera le message à plus de personnes. «C'est exactement pourquoi ces robots se comportent comme ils le font», explique Menczer. Et les gouvernements qui cherchent à salaire des campagnes de désinformation sont probablement déjà développés ou déploient de tels outils, ajoute-t-il.

Les chercheurs craignaient depuis longtemps que la technologie derrière Chatgpt puisse présenter un risque de désinformation, et OpenAI a même retardé la libération d'un prédécesseur au système par rapport à de telles craintes. Mais, à ce jour, il y a peu d'exemples concrètes de modèles de grande langue à mauvais escient à grande échelle. Certaines campagnes politiques utilisent déjà l'IA, avec des Politiciens partageant des vidéos DeepFake conçu pour dénigrer leurs adversaires.

William Wangprofesseur à l'Université de Californie à Santa Barbara, dit qu'il est excitant de pouvoir étudier une véritable utilisation criminelle de Chatgpt. «Leurs découvertes sont plutôt cool», dit-il à propos du travail Fox8.

Wang estime que de nombreuses pages Web de spam sont désormais générées automatiquement, et il dit qu'il devient plus difficile pour les humains de repérer ce matériel. Et, avec l'IA s'améliorant tout le temps, cela ne fera que devenir plus difficile. «La situation est assez mauvaise», dit-il.

Cela peut, le laboratoire de Wang a développé une technique pour distinguer automatiquement le texte généré par le chatpt de l'écriture humaine réelle, mais il dit qu'il est coûteux à déployer car il utilise l'API d'Openai, et il note que l'IA sous-jacente s'améliore constamment. «C'est une sorte de problème de chat et de souris», explique Wang.

X pourrait être un terrain de test fertile pour de tels outils. Menczer dit que les robots malveillants semblent être devenus beaucoup plus courants car Elon Musk a repris ce qui était alors connu sous le nom de Twitter, malgré la promesse du magnat technologique de les éradiquer. Et il est devenu plus difficile pour les chercheurs d'étudier le problème en raison de la hausse des prix imposée à l'utilisation de l'API.

Quelqu'un chez X a apparemment abattu le Botnet Fox8 après que Menczer et Yang ont publié leur article en juillet. Le groupe de Menczer avait l'habitude d'alerter Twitter de nouvelles découvertes sur la plate-forme, mais ils ne le font plus avec X. «Ils ne sont pas vraiment réactifs», dit Menczer. «Ils n'ont pas vraiment le personnel.»