Je suis totalement avec eux, sauf que ce n'est pas l'un ou l'autre. Nous devons faire face à tous les problèmes. Il y a eu des progrès sur ce front. Les gens comprennent qu'il est déraisonnable de rejeter les risques existentiels ou, comme je préfère les appeler, les risques catastrophiques. [The latter] Cela ne signifie pas que les humains sont partis, mais beaucoup de souffrances pourraient venir.

Il y a aussi d'autres voix – surtout de l'industrie – qui disent: «Non, ne vous inquiétez pas! Laissez-nous le gérer! Nous réglerons et protégerons le public! » Cette voix très forte a beaucoup d'influence sur les gouvernements.

Les gens qui ont l'impression que l'humanité a quelque chose à perdre ne devrait pas être des luttes intestines. Ils devraient parler d'une seule voix pour faire bouger les gouvernements. Tout comme nous avons eu des discussions publiques sur le danger des armes nucléaires et du changement climatique, le public doit comprendre qu'il existe un autre danger qui a une amplitude similaire de risques potentiels.

Lorsque vous pensez au potentiel de l'intelligence artificielle pour menacer l'humanité, où atterrissez-vous sur un continuum de désespoir à espérer?

Quel est le bon mot? En français, c'est impuissant. C'est un sentiment qu'il y a un problème, mais je ne peux pas le résoudre. C'est pire que ça, comme je pense que c'est résoluble. Si nous sommes tous d'accord sur un protocole particulier, nous pourrions éviter complètement le problème.

Le changement climatique est similaire. Si nous décidions tous de faire la bonne chose, nous pourrions arrêter le problème maintenant. Il y aurait un coût, mais nous pourrions le faire. C'est la même chose pour l'IA. Il y a des choses que nous pourrions faire. Nous pourrions tous décider de ne pas construire des choses que nous ne savons pas avec certitude. C'est très simple.

Mais cela va tellement contre la façon dont notre économie et nos systèmes politiques sont organisés. Il semble très difficile de réaliser cela jusqu'à ce que quelque chose de catastrophique se produise. Alors peut-être que les gens le prendront plus au sérieux. Mais même alors, c'est difficile parce que vous devez convaincre tout le monde de se comporter correctement.

Le changement climatique est plus facile. C'est bien si nous ne convaincons que 99% des humains de bien se comporter. Avec l'IA, vous devez vous assurer que personne ne va faire quelque chose de dangereux.

«Immatissé», je pense, est la traduction de impuissant.

Je ne suis pas complètement impuissant, car je peux parler, et je peux essayer de convaincre les autres de se déplacer dans la bonne direction. Il y a des choses que nous pouvons faire pour réduire ces risques.

La réglementation n'est pas parfaite, mais cela pourrait ralentir les choses. Par exemple, si le nombre de personnes autorisées à manipuler des systèmes d'IA potentiellement dangereux est réduit à quelques centaines dans le monde, cela pourrait réduire les risques de plus de 1 000 fois. Cela vaut la peine de faire, et ce n'est pas si difficile. Nous ne permettons à personne de conduire un jet de passagers. Nous régulons le vol, et cela réduit beaucoup le taux d'accident.

Même si nous trouvons des moyens de construire des systèmes d'IA qui sont sûrs, ils pourraient ne pas être à l'abri du point de vue de la préservation de la démocratie. Ils pourraient toujours être très puissants et le pouvoir vous arrive à la tête si vous êtes humain. Ainsi, nous pourrions perdre la démocratie.

Comment passer de l'existence d'un système d'IA sûr mais puissant à la perte de la démocratie?

Par exemple, il pourrait commencer par la domination économique. Je ne dis pas que les entreprises ne peuvent pas faire des choses utiles, mais leur mission est de dominer les autres et de gagner de l'argent.

Si une entreprise fait des progrès plus rapides avec l'IA à un moment donné, il pourrait prendre le relais économiquement. Ils offrent tout de mieux et moins cher que quiconque. Ensuite, ils utilisent leur pouvoir pour contrôler la politique, car c'est ainsi que notre système fonctionne. Sur cette voie, nous pouvons nous retrouver avec une dictature du gouvernement mondial.

Il ne s'agit pas seulement de réglementer l'utilisation de l'IA et qui a accès. Nous devons nous préparer pour la journée où il y aura un abus de ce pouvoir par les gens ou par un système d'IA si nous perdons le contrôle et qu'il avait ses propres objectifs.

Avez-vous une suggestion sur la façon dont nous pourrions mieux nous préparer?

À l'avenir, nous aurons besoin d'une organisation de défense de l'humanité. Nous avons des organisations de défense dans chaque pays. Nous devrons organiser à l'échelle internationale un moyen de nous protéger contre les événements qui pourraient autrement nous détruire.

C'est un point de vue à plus long terme, et il faudrait beaucoup de temps pour que plusieurs pays soient d'accord sur les bons investissements. Mais en ce moment, tout l'investissement se produit dans le secteur privé. Il n'y a rien qui se passe avec un objectif de bon public qui pourrait défendre l'humanité.