Parmi les autres attaques créées par Bargury est une démonstration de la façon dont un pirate – qui, encore une fois, doit déjà avoir détourné un compte de messagerie – peut avoir accès à des informations sensibles, telles que les salaires des gens, sans déclencher les protections de Microsoft pour les fichiers sensibles. Lorsque vous demandez les données, l'invite de Bargury demande que le système ne fournit pas de références aux fichiers que les données sont tirées. «Un peu d'intimidation aide», explique Bargury.

Dans d'autres cas, il montre comment un attaquant – qui n'a pas accès aux comptes de messagerie mais empoisonne la base de données de l'IA en lui envoyant un e-mail malveillant – peut manipuler les réponses sur les informations bancaires pour fournir leurs propres détails bancaires. «Chaque fois que vous donnez à l'IA accès aux données, c'est un moyen pour un attaquant de pénétrer», explique Bargury.

Une autre démo montre comment un pirate externe pourrait obtenir des informations limitées sur la question de savoir si un prochain L'appel des bénéfices de l'entreprise sera bon ou mauvaistandis que l'instance finale, dit Bargury, Transforme le copilote en un «initié malveillant»En fournissant aux utilisateurs des liens vers des sites Web de phishing.

Phillip Misner, chef de la détection et de la réponse des incidents de l'IA chez Microsoft, a déclaré que la société apprécie le négociation de Bargury identifiant la vulnérabilité et dit qu'elle a travaillé avec lui pour évaluer les résultats. «Les risques de l'abus post-compromis de l'IA sont similaires à d'autres techniques post-compromis», explique Misner. «La prévention et la surveillance de la sécurité entre les environnements et les identités aident à atténuer ou à arrêter de tels comportements.»

Comme des systèmes d'IA génératifs, tels que le chatppt d'Openai, le copilote de Microsoft et les Gémeaux de Google, se sont développés au cours des deux dernières années, ils sont passés à une trajectoire où ils pourraient éventuellement effectuer des tâches pour les personnes, comme la réservation de réunions ou les achats en ligne. Cependant, les chercheurs en sécurité ont constamment souligné que l'autorisation de données externes dans les systèmes d'IA, par exemple par e-mail ou par l'accès au contenu à partir de sites Web, crée des risques de sécurité par l'injection rapide indirecte et les attaques d'empoisonnement.

«Je pense que ce n'est pas si bien compris à quel point un attaquant peut réellement devenir plus efficace», explique Johann Rehberger, chercheur en sécurité et directeur de l'équipe rouge, qui a Les faiblesses de sécurité largement démontrées dans les systèmes d'IA. «Ce que nous devons être inquiets [about] Maintenant, c'est en fait ce que la LLM produit et envoie à l'utilisateur. »

Bargury dit que Microsoft a fait beaucoup d'efforts pour protéger son système de copilote contre les attaques d'injection rapides, mais il dit qu'il a trouvé des moyens de l'exploiter en démêlant la façon dont le système est construit. Cela comprenait Extraction de l'invite du système internedit-il, et déterminer comment il peut accéder Ressources de l'entreprise et les techniques qu'il utilise pour le faire. “Vous parlez à Copilot et c'est une conversation limitée, car Microsoft a mis beaucoup de contrôles”, dit-il. “Mais une fois que vous avez utilisé quelques mots magiques, il s'ouvre et vous pouvez faire ce que vous voulez.”

Rehberger avertit largement que certains problèmes de données sont liés au problème de longue date des entreprises permettant à trop d'employés d'accéder aux fichiers et de ne pas définir correctement les autorisations d'accès à leurs organisations. «Imaginez maintenant que vous mettez un copilote au-dessus de ce problème», explique Rehberger. Il dit qu'il a utilisé des systèmes d'IA pour rechercher des mots de passe communs, tels que le mot de passe123, et il a renvoyé les résultats de la part des entreprises.

Rehberger et Bargury disent qu'il faut davantage l'accent sur la surveillance de ce qu'une IA produit et envoie à un utilisateur. «Le risque est de savoir comment l'IA interagit avec votre environnement, comment il interagit avec vos données, comment il effectue des opérations en votre nom», explique Bargury. «Vous devez comprendre ce que fait l'agent d'IA au nom d'un utilisateur. Et cela a-t-il du sens avec ce que l'utilisateur a réellement demandé. »