Le philosophe Nick Bostrom est étonnamment gai pour quelqu'un qui a passé autant de temps à s'inquiéter des façons dont l'humanité pourrait se détruire. Dans les photographies, il a souvent l'air mortel sérieux, peut-être hanté de manière appropriée par les dangers existentiels errant autour de son cerveau. Lorsque nous parlons de zoom, il a l'air détendu et sourit.

Bostrom a fait son travail de sa vie pour réfléchir à l'avancement technologique lointain et aux risques existentiels pour l'humanité. Avec la publication de son dernier livre, Superintelligence: chemins, dangers, stratégiesen 2014, Bostrom a attiré l'attention du public sur ce qui était alors une idée marginale – que l'IA avancerait au point où elle pourrait se retourner et supprimer l'humanité.

Pour beaucoup dans et en dehors de la recherche sur l'IA, l'idée semblait fantaisiste, mais des figures influentes y compris Elon Musk a cité l'écriture de Bostrom. Le livre a mis un brin d'inquiétude apocalyptique à l'égard de l'IA qui coule qui a récemment évasé après l'arrivée de Chatgpt. La préoccupation concernant le risque d'IA n'est pas seulement le courant dominant, mais aussi un thème dans les milieux politiques de l'IA du gouvernement.

Le nouveau livre de Bostrom prend une approche très différente. Plutôt que de jouer les succès de Doome, Utopie profonde: vie et signification dans un monde résoluconsidère un avenir dans lequel l'humanité a réussi à développer des machines superintelligent mais a évité les catastrophes. Toute maladie a été terminée et les humains peuvent vivre indéfiniment dans une abondance infinie. Le livre de Bostrom examine quel sens il y aurait dans la vie dans une techno-utopie et demande s'il pourrait être plutôt creux. Il a parlé avec Wired Over Zoom, dans une conversation qui a été légèrement modifiée pour la longueur et la clarté.

Will Knight: Pourquoi passer de l'écriture sur l'IA superintelligente menaçant l'humanité de considérer un avenir dans lequel il est utilisé pour faire le bien?

Nick Bostrom: Les différentes choses qui pourraient mal tourner avec le développement de l'IA reçoivent maintenant beaucoup plus d'attention. C'est un grand changement au cours des 10 dernières années. Désormais, tous les principaux laboratoires Frontier AI ont des groupes de recherche essayant de développer des méthodes d'alignement évolutives. Et au cours des deux dernières années également, nous voyons des dirigeants politiques commencer à faire attention à l'IA.

Il n'y a pas encore eu d'augmentation proportionnelle en profondeur et en sophistication en termes de réflexion sur l'endroit où les choses se passent si nous ne tombons pas dans l'une de ces fosses. La réflexion a été assez superficielle sur le sujet.

Quand tu as écrit Superintelligencepeu de gens auraient attendu des risques d'IA existentiels pour devenir un débat grand public si rapidement. Allons-nous nous soucier des problèmes de votre nouveau livre plus tôt que les gens ne le pensaient?

Alors que nous commençons à voir l'automatisation déploier, en supposant que les progrès se poursuivent, alors je pense que ces conversations commenceront à se produire et finalement s'approfondir.

Les applications de compagnie sociale deviendront de plus en plus importantes. Les gens auront toutes sortes de vues différentes et c'est un endroit idéal pour avoir peut-être une petite guerre culturelle. Cela pourrait être formidable pour les gens qui ne pouvaient pas trouver l'épanouissement dans la vie ordinaire, mais que se passe-t-il s'il y a un segment de la population qui prend plaisir à être abusif pour eux?

Dans les sphères politiques et d'information, nous pourrions voir l'utilisation de l'IA dans les campagnes politiques, le marketing, les systèmes de propagande automatisés. Mais si nous avons un niveau de sagesse suffisant, ces choses pourraient vraiment amplifier notre capacité à être des citoyens démocratiques constructifs, avec des conseils individuels expliquant ce que les propositions de politique signifient pour vous. Il y aura tout un tas de dynamiques pour la société.

Un avenir dans lequel l'IA aurait résolu de nombreux problèmes, comme le changement climatique, la maladie et la nécessité de travailler, serait vraiment si mauvais?