Alors que les systèmes d'IA génératifs comme le chatppt d'Openai et les Gémeaux de Google deviennent plus avancés, ils sont de plus en plus mis au travail. Les startups et les entreprises technologiques construisent des agents et des écosystèmes d'IA en plus des systèmes qui peuvent effectuer des tâches ennuyeuses pour vous: pensez automatiquement à faire des réservations de calendrier et potentiellement à l'achat de produits. Mais comme les outils ont plus de liberté, cela augmente également les façons potentielles des moyens d'attaquer.

Maintenant, dans une démonstration des risques d'écosystèmes d'IA connectés et autonomes, un groupe de chercheurs a créé l'une de ce qu'ils prétendent être les premiers vers générateurs d'IA – qui peuvent se propager d'un système à un autre, volant potentiellement de données ou déploiement de logiciels malveillants dans le processus. «Cela signifie essentiellement que maintenant vous avez la capacité de mener ou d'effectuer un nouveau type de cyberattaque qui n'a jamais été vu auparavant», explique Ben Nassi, chercheur en technologie de Cornell derrière la recherche.

Nassi, avec ses collègues chercheurs Stav Cohen et Ron Bitton, a créé le ver, surnommé Morris II, en signe de tête au ver d'ordinateur Morris qui a provoqué le chaos sur Internet en 1988. Dans un document de recherche et site Web Partagés exclusivement avec Wired, les chercheurs montrent comment le ver de l'IA peut attaquer un assistant de messagerie électronique générateur pour voler des données à des e-mails et envoyer des messages de spam – en train de procéder à des protections de sécurité dans le chatppt et les geminies dans le processus.

La recherche, qui a été entreprise dans des environnements de test et non contre un assistant de courrier électronique accessible au public, est disponible sous forme de modèles de grandes langues (LLM) devient de plus en plus multimodale, pouvant générer des images et des vidéos ainsi que du texte. Bien que les vers d'IA génératifs n'aient pas encore été repérés dans la nature, plusieurs chercheurs disent qu'ils sont un risque de sécurité qui devrait être un risque de sécurité, les développeurs et les entreprises technologiques.

La plupart des systèmes d'IA génératifs fonctionnent en étant nourris, des instructions de texte qui indiquent aux outils pour répondre à une question ou créer une image. Cependant, ces invites peuvent également être armées contre le système. Le jailbreaks peut faire en sorte qu'un système ne tient pas compte de ses règles de sécurité et crachent un contenu toxique ou haineux, tandis que Attaques d'injection rapides peut donner un chatbot instructions secrètes. Par exemple, un attaquant peut masquer le texte sur une page Web dire à un LLM d'agir comme un escroc et de demander vos coordonnées bancaires.

Pour créer le ver génératif de l'IA, les chercheurs se sont tournés vers une «invite d'auto-reproduction adversaire». Il s'agit d'une invite qui déclenche le modèle d'IA génératif à la sortie, dans sa réponse, une autre invite, disent les chercheurs. En bref, le système d'IA est invité à produire un ensemble d'instructions supplémentaires dans ses réponses. Ceci est largement similaire aux attaques traditionnelles d'injection de SQL et de tampon, selon les chercheurs.

Pour montrer comment le ver peut fonctionner, les chercheurs ont créé un système de messagerie qui pourrait envoyer et recevoir des messages en utilisant une IA générative, se connecter à Chatgpt, Gemini et Open Source LLM, La lave. Ils ont ensuite trouvé deux façons d'exploiter le système, en utilisant une invite d'auto-réplication du texte et en incorporant une invite auto-reproduite dans un fichier image.