L'ingénieur électricien Gilbert Herrera a été nommé directeur de recherche de la US National Security Agency à la fin de 2021, tout comme une révolution de l'IA se préparait dans l'industrie de la technologie américaine.

La NSA, qui en plaisantait parfois, il ne représentait pas une telle agence, a longtemps embauché les meilleurs talents de mathématiques et d'informatiques. Ses leaders techniques ont été des utilisateurs précoces et passionnés de l'informatique avancée et de l'IA. Et pourtant, quand Herrera m'a parlé par téléphone des implications du dernier boom de l'IA du siège social de la NSA à Fort Meade, Maryland, il semblait que, comme beaucoup d'autres, l'agence a été stupéfaite par le récent succès des grands modèles de langue derrière Chatgpt. et d'autres produits AI Hit. La conversation a été légèrement modifiée pour plus de clarté et de longueur.

Gilbert HerreraAvec l'aimable autorisation de la National Security Agency

Quelle était la grande surprise du moment du chatpt à la NSA?

Oh, je pensais que votre première question allait être “Qu'est-ce que la NSA a appris de l'Arche de l'Alliance?” Cela a été récurrent depuis vers 1939. J'adorerais vous le dire, mais je ne peux pas.

Ce que je pense que tout le monde a appris du moment Chatgpt, c'est que si vous jetez suffisamment de données et suffisamment de ressources informatiques à l'IA, ces propriétés émergentes apparaissent.

La NSA considère vraiment l'intelligence artificielle comme à la frontière d'une longue histoire d'utilisation de l'automatisation pour effectuer nos missions avec l'informatique. L'IA a longtemps été considérée comme des moyens de fonctionner plus intelligents et plus rapides et à grande échelle. Et donc nous sommes impliqués dans la recherche menant à ce moment depuis plus de 20 ans.

Les modèles de grands langues existent bien avant les modèles génératifs pré-étendus (GPT). Mais ce «moment Chatgpt» – une fois que vous pourriez lui demander d'écrire une blague, ou une fois que vous pouvez engager une conversation – qui le différencie vraiment des autres travaux que nous et d'autres avons faits.

La NSA et ses homologues entre nous, les alliés, ont parfois développé des technologies importantes avant quiconque, mais gardé le secret, comme Cryptographie par clé publique dans les années 1970. La même chose est-elle peut-être arrivée avec de grands modèles de langue?

À la NSA, nous n'aurions pas pu créer ces grands modèles de transformateurs, car nous ne pouvions pas utiliser les données. Nous ne pouvons pas utiliser les données des citoyens américains. Une autre chose est le budget. J'ai écouté un podcast où quelqu'un a partagé un appel de bénéfices de Microsoft, et ils ont dit qu'ils dépensaient 10 milliards de dollars par trimestre en coûts de plate-forme. [The total US intelligence budget in 2023 was $100 billion.]

Ce doit vraiment être des gens qui ont suffisamment d'argent pour l'investissement en capital qui représente des dizaines de milliards et [who] avoir accès au type de données qui peuvent produire ces propriétés émergentes. Et donc c'est vraiment les hyperscalers [largest cloud companies] Et potentiellement les gouvernements qui ne se soucient pas de la confidentialité personnelle, n'ont pas à suivre les lois sur la confidentialité personnelle et n'ont pas de problème à voler des données. Et je vais laisser à votre imagination qui peut être.

Cela ne met-il pas la NSA – et les États-Unis – dans un désavantage dans la collecte et le traitement des renseignements?

Je vais repousser un peu: cela ne nous met pas dans un grand désavantage. Nous avons en quelque sorte besoin de contourner cela, et j'en reviendrai.

Ce n'est pas un énorme inconvénient pour notre responsabilité, qui traite des cibles de l'État-nation. Si vous regardez d'autres applications, cela peut rendre la tâche plus difficile pour certains de nos collègues qui traitent de l'intelligence domestique. Mais la communauté du renseignement devra trouver un chemin vers l'utilisation de modèles de langage commercial et le respect de la vie privée et des libertés personnelles. [The NSA is prohibited from collecting domestic intelligence, although multiple whistleblowers have warned that it does scoop up US data.]