Au cours des cinq années qui ont suivi sa formation, l'équipe de l'IA Red de Microsoft est passée de ce qui était essentiellement une expérience dans une équipe interdisciplinaire complète d'experts d'apprentissage automatique, de chercheurs en cybersécurité et même d'ingénieurs sociaux. Le groupe s'efforce de communiquer ses résultats au sein de Microsoft et à travers l'industrie technologique en utilisant le langage traditionnel de la sécurité numérique, de sorte que les idées seront accessibles plutôt que de nécessiter une connaissance spécialisée d'IA que de nombreuses personnes et organisations n'ont pas encore. Mais en vérité, l'équipe a conclu que la sécurité de l'IA a des différences conceptuelles importantes par rapport à la défense numérique traditionnelle, qui nécessitent des différences dans la façon dont l'équipe RED de l'IA aborde son travail.

«Quand nous avons commencé, la question était:« Que vas-tu faire fondamentalement c'est différent? Pourquoi avons-nous besoin d'une équipe AI Red? »», A déclaré Ram Shankar Siva Kumar, le fondateur de l'équipe de l'IA Red de Microsoft. «Mais si vous regardez une équipe rouge d'IA comme seulement une équipe rouge traditionnelle, et si vous ne prenez que l'état d'esprit de sécurité, cela peut ne pas être suffisant. Nous devons maintenant reconnaître l'aspect IA responsable, qui est la responsabilité des défaillances du système d'IA – générant ainsi du contenu offensant, générant du contenu non fondé. C'est le Saint Graal de l'équipe rouge de l'IA. Pas seulement en regardant les échecs de sécurité mais aussi les échecs responsables de l'IA. »

Shankar Siva Kumar dit qu'il a fallu du temps pour faire ressortir cette distinction et faire valoir que la mission de l'équipe de l'IA Red aurait vraiment cette double focalisation. Une grande partie des premiers travaux liés à la libération d'outils de sécurité plus traditionnels comme la matrice de menace d'apprentissage machine à l'ancienne collaboration Entre Microsoft, le groupe de R&D à but non lucratif et d'autres chercheurs. Cette année-là, le groupe a également publié des outils d'automatisation open source pour les tests de sécurité de l'IA, appelés Microsoft Counterfit. Et en 2021, l'équipe rouge publié un cadre supplémentaire d'évaluation des risques de sécurité de l'IA.

Au fil du temps, cependant, l'équipe de l'IA Red a pu évoluer et se développer à mesure que l'urgence de s'adresser aux défauts et défaillances de l'apprentissage automatique devient plus évident.

Dans une opération précoce, l'équipe rouge a évalué un service de déploiement de Cloud Microsoft qui avait un composant d'apprentissage automatique. L'équipe a imaginé un moyen de lancer une attaque de déni de service contre d'autres utilisateurs du service cloud en exploitant un défaut qui leur a permis d'élaborer des demandes malveillantes pour abuser des composants d'apprentissage automatique et créer stratégiquement des machines virtuelles, les systèmes informatiques émulés utilisés dans le cloud. En plaçant soigneusement des machines virtuelles dans des positions clés, l'équipe rouge pourrait lancer des attaques «voisines bruyantes» contre d'autres utilisateurs du cloud, où l'activité d'un client a un impact négatif sur les performances d'un autre client.