A National Security Insider Does the Math on the Dangers of AI

Un type de risque qui vous intéresse depuis longtemps est «Biorik». Quel est le pire chose qui pourrait arriver? Faites-nous traverser cela.

J'ai commencé en santé publique avant de travailler dans la sécurité nationale, en travaillant sur le contrôle des maladies infectieuses – Malaria et tuberculose. En 2002, Le premier virus a été synthétisé à partir de zéro Sur un projet DARPA, et c'était en quelque sorte un moment de «merde oh» pour les biosciences et la communauté de la santé publique, la réalisation de la biologie va devenir une discipline d'ingénierie qui pourrait être potentiellement mal utilisée. Je travaillais avec des anciens combattants de la campagne d'éradication de la variole, et ils pensaient: «Crap, nous avons juste passé des décennies à éradiquer une maladie qui pourrait maintenant être synthétisée à partir de zéro.»

J'ai ensuite évolué vers le travail en biosécurité, essayant de comprendre, comment pourrions-nous augmenter la sécurité autour des biolabs afin qu'ils soient moins susceptibles d'être utilisés? Comment pouvons-nous détecter les programmes d'armes biologiques? Qui, malheureusement, existent toujours en nombre important dans quelques endroits du monde. De plus, comment pouvons-nous faire plus de sécurité dans la société afin que nous soyons plus résilients en ce qui concerne non seulement une pandémie d'ingénierie mais aussi des pandémies naturelles?

Il y a beaucoup de vulnérabilité qui reste dans la société. Covid en était une démonstration. Il s'agissait d'un virus relativement léger en termes historiques – il avait un taux de décès d'infection inférieur à 1% – alors qu'il existe des virus naturels qui ont des taux de mortalité bien supérieurs à 50%. Il existe des virus synthétiques qui ont près de 100% de létalité tout en étant aussi transmissible que SARS-COV-2. Même si nous savons comment concevoir des vaccins et les fabriquer très rapidement, les faire approuver avec autant de temps aujourd'hui qu'il y a environ 20 ans. Ainsi, le temps dont vous auriez besoin pour vacciner une population est à peu près le même aujourd'hui que pour nos parents et même pour nos grands-parents.

Lorsque j'ai commencé à m'intéresser à la biosécurité en 2002, cela a coûté plusieurs millions de dollars pour construire un poliovirus, un très, très petit virus. Il aurait coûté près de 1 milliard de dollars pour synthétiser un virus de la variole, un très grand virus. Aujourd'hui, le coût est inférieur à 100 000 $, il s'agit donc d'une baisse de 10 000 fois au cours de cette période. Pendant ce temps, les vaccins ont en fait triplé le coût au cours de cette période. L'asymétrie de la défense de la défense se déplace dans la mauvaise direction.

Et que voyez-vous comme notre plus grand adversaire dans les biorisks?

Le premier est la nature. L'évolution des virus naturels se poursuit. Nous allons avoir de futures pandémies virales. Certains d'entre eux vont être pires que covidés, certains ne seront pas aussi mauvais que Covid, mais nous devons être résilients aux deux. Covid coûte uniquement l'économie américaine plus de 10 billions de dollarset pourtant ce que nous investissons dans la prévention de la prochaine pandémie est peut-être de 2 milliards à 3 milliards de dollars d'investissement fédéral.

Une autre catégorie est les attaques biologiques intentionnelles. Aum Shinrikyo était un culte apocalyptique au Japon qui avait un programme d'armes biologiques. Ils pensaient qu'ils réaliseraient la prophétie en tuant tout le monde sur la planète. Heureusement, ils travaillaient avec la biologie des années 1990, ce qui n'était pas si sophistiqué. Malheureusement, ils se sont ensuite tournés vers des armes chimiques et ont lancé les attaques de gaz de Tokyo Sarin.

Nous avons aujourd'hui des individus et des groupes qui ont une intention de masse-casual et expriment de plus en plus l'intérêt pour la biologie en tant qu'arme. Ce qui les empêche de pouvoir utiliser efficacement la biologie ne sont pas des contrôles sur les outils ou les matières premières, car celles-ci sont désormais disponibles dans de nombreux laboratoires et sur eBay – vous pouvez acheter un synthétiseur d'ADN pour bien moins de 100 000 $ maintenant. Vous pouvez obtenir tous les matériaux et consommables dont vous avez besoin dans la plupart des magasins d'approvisionnement scientifiques.

Ce qu'un groupe apocalyptique manquerait, c'est le savoir-faire pour transformer ces outils en arme biologique. Il est préoccupant que l'IA rend le savoir-faire plus largement disponible. Une partie de la recherche fait par [AI safety and research company] Anthropic a examiné les évaluations des risques pour voir si ces outils pouvaient être utilisés à mauvais escient par quelqu'un qui n'avait pas de solide formation biologique. Pourraient-ils essentiellement obtenir une formation au niveau des diplômes d'un tuteur numérique sous la forme d'un modèle grand langage? En ce moment, probablement pas. Mais si vous mappez les progrès au cours des deux dernières années, la barrière à l'entrée pour quelqu'un qui veut mener une attaque biologique est en train d'éroder.