“Vous ne pouvez pas vous promener dans RSA sans parler de l'IA et des logiciels malveillants”, a-t-il déclaré mercredi après-midi lors de sa présentation annuelle de «State of the Hack». “Je pense que nous avons tous vu l'explosion. Je ne dirai pas qu'elle est encore livrée, mais c'est vraiment une technologie qui change la donne.”

Ces derniers mois, les chatbots alimentés par de grands modèles de langues, comme le chatppt d'Openai, ont rendu des années de développement et de recherche à l'apprentissage automatique et de recherche plus concrets et accessibles aux personnes du monde entier. Mais il y a des questions pratiques sur la façon dont ces nouveaux outils seront manipulés et maltraités par les mauvais acteurs pour développer et répandre des logiciels malveillants, alimenter la création de désinformation et de contenu inauthentique et élargir les capacités des attaquants pour automatiser leurs hacks. Dans le même temps, la communauté de la sécurité est impatiente d'exploiter une IA générative pour défendre les systèmes et gagner un avantage protecteur. Dans ces premiers jours, cependant, il est difficile de décomposer exactement ce qui se passera ensuite.

Joyce a déclaré que la National Security Agency s'attend à ce que l'IA génératrice alimente des escroqueries déjà efficaces comme le phishing. De telles attaques reposent sur un contenu convaincant et convaincant pour inciter les victimes à aider involontairement aux attaquants, donc l'IA génératrice a des utilisations évidentes pour créer rapidement des communications et des matériaux sur mesure.

“Ce pirate natif russe qui ne parle pas bien l'anglais ne va plus élaborer un e-mail de merde à vos employés”, a déclaré Joyce. “Ce sera l'anglais en langue maternelle, ça va avoir du sens, ça passera le test de sniff … pour qu'il y ait ici aujourd'hui, et nous voyons des adversaires, à la fois à l'État-nation et aux criminels, à commencer à expérimenter la génération de type Chatgpt pour leur donner des opportunités de langue anglaise.”

Pendant ce temps, bien que les chatbots d'IA puissent ne pas être en mesure de développer un nouveau malware parfaitement armé à partir de zéro, Joyce a noté que les attaquants peuvent utiliser les compétences de codage que les plates-formes doivent apporter des changements plus petits qui pourraient avoir un grand effet. L'idée serait de modifier les logiciels malveillants existants avec une IA générative pour modifier suffisamment ses caractéristiques et son comportement pour que des outils de numérisation comme le logiciel antivirus ne reconnaissent pas et ne signalent pas la nouvelle itération.

“Cela va aider à réécrire le code et à le faire d'une manière qui changera la signature et les attributs de celui-ci”, a déclaré Joyce. “Que [is] va être difficile pour nous à court terme. »

En termes de défense, Joyce semblait espoir du potentiel d'une IA générative pour aider à l'analyse et à l'automatisation des mégadonnées. Il a cité trois domaines où la technologie «montre une vraie promesse» comme un «accélérateur pour la défense»: la numérisation des journaux numériques, la recherche de modèles dans l'exploitation de la vulnérabilité et l'aide aux organisations privilégié les problèmes de sécurité. Il a averti, cependant, qu'avant que les défenseurs et les communautés ne dépendent plus largement de ces outils dans la vie quotidienne, ils doivent d'abord étudier comment les systèmes d'IA génératifs peuvent être manipulés et exploités.

Surtout, Joyce a souligné la nature trouble et imprévisible du moment actuel pour l'IA et la sécurité, mettant en garde la communauté de la sécurité à «boucler» pour ce qui n'est probablement pas à venir.

“Je ne m'attends pas à une capacité technique magique qui est générée par l'AI qui exploitera toutes les choses”, a-t-il déclaré. Mais “l'année prochaine, si nous parlons ici une année similaire en revue, je pense que nous aurons un tas d'exemples de l'endroit où il a été armé, où il a été utilisé et où il a réussi.”