Aujourd'hui, Openai a sorti son Premier rapport de menacedétaillant comment les acteurs de la Russie, de l'Iran, de la Chine et d'Israël ont tenté d'utiliser sa technologie pour les opérations d'influence étrangère à travers le monde. Le rapport nommé cinq réseaux différents qu'OpenAI a identifiés et fermés entre 2023 et 2024. Dans le rapport, OpenAI révèle que des réseaux établis comme le sosie de la Russie et le spamoflauge chinois expérimentent comment utiliser l'IA génératrice pour automatiser leurs opérations. Ils ne sont pas non plus très bons dans ce domaine.

Et bien que ce soit un soulagement modeste que ces acteurs n'ont pas maîtrisé l'IA génératrice pour devenir des forces imparables pour la désinformation, il est clair qu'ils expérimentent, et cela seul devrait être inquiétant.

Le rapport OpenAI révèle que les campagnes d'influence se heurtent aux limites de l'IA générative, qui ne produit pas de manière fiable une bonne copie ou un bon code. Ça se débat avec idiomes– Ce qui fait que la langue sonne plus fiable et personnelle – et aussi parfois avec une grammaire de base (à tel point qu'Openai a nommé un réseau «mauvaise grammaire».) Le réseau de mauvais grammaire était si bâclé qu'il révélait autrefois sa véritable identité: «En tant que Modèle de langue AI, je suis ici pour aider et fournir le commentaire souhaité », a-t-il posté.

Un réseau a utilisé Chatgpt pour déboguer le code qui lui permettrait d'automatiser les publications sur Telegram, une application de chat qui a longtemps été un favori des extrémistes et d'influencer les réseaux. Cela fonctionnait bien parfois, mais d'autres fois, cela a conduit à la même publication de compte que deux personnages distincts, ce qui donne le jeu.

Dans d'autres cas, Chatgpt a été utilisé pour créer du code et du contenu pour les sites Web et les médias sociaux. Spamoflauge, par exemple, a utilisé Chatgpt pour déboguer le code pour créer un site Web WordPress qui a publié des histoires attaquant des membres de la diaspora chinoise qui critiquaient le gouvernement du pays.

Selon le rapport, le contenu généré par l'IA n'a pas réussi à se détacher des réseaux d'influence eux-mêmes dans le courant dominant, même lorsqu'il est partagé sur des plates-formes largement utilisées comme X, Facebook et Instagram. Ce fut le cas pour les campagnes dirigées par une entreprise israélienne qui travaille apparemment sur une base de location et la publication de contenu qui allait de l'anti-qatar à l'anti-BJP, le parti hindou-nationaliste qui contrôle actuellement le gouvernement indien.

Prend tout à fait, le rapport dépeint une image de plusieurs campagnes relativement inefficaces avec de la propagande brute, apparemment apaisant Craigne que de nombreux experts ont eu sur le potentiel de cette nouvelle technologie pour répandre la mauvaise et la désinformation, en particulier pendant une année électorale cruciale.

Mais influencer les campagnes sur les médias sociaux innove souvent au fil du temps pour éviter la détection, l'apprentissage des plateformes et de leurs outils, parfois mieux que les employés des plateformes elles-mêmes. Bien que ces campagnes initiales puissent être petites ou inefficaces, elles semblent être encore au stade expérimental, explique Jessica Walton, chercheuse de l'Institut CyberPeace qui a étudié l'utilisation par Doppleganger de l'IA génératrice.

Dans ses recherches, le réseau utiliserait des profils Facebook réalisants pour publier des articles, souvent autour de sujets politiques de division. «Les articles réels sont écrits par l'IA générative», dit-elle. “Et surtout ce qu'ils essaient de faire, c'est voir ce qui viendra, ce que les algorithmes de Meta seront et ne pourront pas attraper.”

En d'autres termes, attendez-vous à ce qu'ils ne s'améliorent qu'à partir d'ici.