Le 16 décembre, le même jour, Tabassi a pris la parole à Nerips, six membres du Congrès ont signé une lettre ouverte bipartite soulever des inquiétudes concernant la perspective de l'enrôlement des entreprises privées avec peu de transparence. «Nous avons appris que NIST a l'intention de faire des subventions ou des récompenses à des organisations extérieures pour la recherche extra-murale», ont-ils écrit. La lettre avertit qu'il ne semble pas y avoir d'informations accessibles au public sur la façon dont ces prix seront décidés.

La lettre des législateurs affirme également que le NIST est précipité pour définir les normes même si la recherche sur les tests d'IA est à un stade précoce. En conséquence, il existe un «désaccord significatif» parmi les experts de l'IA sur la façon de travailler ou même de mesurer et de définir des problèmes de sécurité avec la technologie, indique qu'elle. “L'état actuel du domaine de la recherche sur la sécurité de l'IA crée des défis pour le NIST alors qu'il navigue sur son rôle de leadership sur la question”, affirme la lettre.

La porte-parole du NIST, Jennifer Huergo, a confirmé que l'agence avait reçu la lettre et a déclaré qu'elle “répondrait par les canaux appropriés”.

NIST fait quelques mouvements qui augmenteraient la transparence, notamment en émettant un demander des informations Le 19 décembre, sollicitant les commentaires des experts extérieurs et des entreprises sur les normes d'évaluation et de modèles d'IA en équipe rouge. Il n'est pas clair si c'était une réponse à la lettre envoyée par les membres du Congrès.

Les préoccupations soulevées par les législateurs sont partagées par certains experts de l'IA qui ont passé des années à développer des moyens de sonder les systèmes d'IA. «En tant que corps scientifique non partisan, le NIST est le meilleur espoir de couper le battage médiatique et la spéculation autour du risque d'IA», explique Rumman Chowdhury, scientifique des données et PDG de Consultation de parité L'OMS est spécialisée dans le test des modèles d'IA pour les biais et autres problèmes. «Mais pour bien faire leur travail, ils ont besoin de plus que des mandats et des vœux.»

Yacine JerniteMachine Learning and Society dirige à Hugging Face, une entreprise qui soutient les projets d'IA open source, dit que Big Tech a beaucoup plus de ressources que l'agence donnant un rôle clé dans la mise en œuvre du plan ambitieux de l'IA de la Maison Blanche. “NIST a fait un travail incroyable pour aider à gérer les risques de l'IA, mais la pression pour trouver des solutions immédiates pour des problèmes à long terme rend leur mission extrêmement difficile”, dit Jernite. “Ils ont beaucoup moins de ressources que les entreprises qui développent les systèmes d'IA les plus visibles.”

Margaret Mitchell, scientifique en chef de l'éthique à Hugging Face, dit que le secret croissant autour des modèles commerciaux d'IA rend la mesure plus difficile pour une organisation comme le NIST. «Nous ne pouvons pas améliorer ce que nous ne pouvons pas mesurer», dit-elle.

Le décret exécutif de la Maison Blanche appelle NIST à effectuer plusieurs tâches, notamment en établissant un nouvel Institut de sécurité de l'intelligence artificielle pour soutenir le développement d'une IA sûre. En avril, un groupe de travail britannique axé sur la sécurité de l'IA était annoncé. Il recevra 126 millions de dollars de financement de démarrage.

Le décret a donné à NIST une date limite agressive pour trouver, entre autres, des lignes directrices pour évaluer les modèles d'IA, des principes pour les modèles «en équipe rouge» (tests adversarialement), élaborant un plan pour amener les nations américaines à accepter les normes NIST et proposer un plan pour «faire avancer les normes techniques mondiales responsables pour le développement de l'IA».

Bien qu'il ne soit pas clair comment le NIST s'engage avec les grandes entreprises technologiques, des discussions sur le cadre de gestion des risques de NIST, qui a eu lieu avant l'annonce du décret, impliquait Microsoft; Anthropic, une startup formée par d'anciens employés d'Openai qui construit des modèles d'IA de pointe; Partenariat sur l'IA, qui représente les grandes entreprises technologiques; et le Future of Life Institute, un organisme à but non lucratif dédié au risque existentiel, entre autres.

«En tant que spécialiste des sciences sociales quantitatives, j'aime à la fois et je déteste que les gens réalisent que le pouvoir est en mesure», explique Chowdhury.