À certains égards, Il est difficile de comprendre comment ce désalignement s'est produit. Nous avons créé tout cela par nous-mêmes, pour nous-mêmes.

Certes, nous sommes par nature des «chauvins de carbone», comme le dit Tegmark: nous aimons penser que seules les machines de chair et de sang comme nous peuvent penser, calculer, créer. Mais la conviction que les machines ne peuvent pas faire ce que nous faisons ignore un aperçu clé de l'IA: «L'intelligence est une question de traitement de l'information, et peu importe que les informations soient traitées par des atomes de carbone dans le cerveau ou par des atomes de silicium dans les ordinateurs.»

Bien sûr, il y a ceux qui disent: non-sens! Tout est Hunky-Dory! Encore mieux! Apportez les machines. Plus tôt nous fusions avec eux, mieux c'est; Nous avons déjà commencé avec nos yeux et nos cœurs d'ingénierie, nos attachements intimes avec des appareils. Ray Kurzweil, célèbre, n'a pas hâte de la singularité à venir, alors que toutes les distinctions sont diminuées à rien de rien. “C'est vraiment les prochaines décennies que nous devons passer”, a récemment déclaré Kurzweil à un public massif.

Oh, juste ça.

Même Jaron Lanier, qui dit que l'idée que la prise en charge de l'IA est idiote parce qu'elle est faite par les humains, permet que l'extinction humaine soit une possibilité – si nous gâchons la façon dont nous l'utilisons et nous rendons littéralement fous: «Pour moi, le danger est que nous utilisons notre technologie pour ne pas comprendre et être auto-éligibles ou pour survivre, si vous aimez, en quelque sorte, nous n'actions pas avec suffisamment de compréhension et d'auto-internes Essentiellement.

Peut-être que nous nous sommes juste oubliés. «Perdre notre humanité» était une phrase répétée souvent par les gars de la bombe et presque aussi souvent aujourd'hui. Le danger de la technologie incontrôlable, a écrit mon ami physicien, est «l'inquiétude que nous pourrions perdre une partie de cette spécialité indéfinissable et extraordinaire qui rend les gens« humains ».« Sept décennies plus tard, Consiste Lanier. «Nous devons dire que la conscience est une chose réelle et il y a une intériorité mystique pour les gens qui sont différents des autres choses parce que si nous ne disons pas que les gens sont spéciaux, comment pouvons-nous faire une société ou faire des technologies qui servent les gens?»

Le fait même importe si nous allons éteint?

Les humains ont longtemps été distingués pour leur capacité d'empathie, de gentillesse, de capacité à reconnaître et à répondre aux émotions chez les autres. Nous sommes fiers de la créativité et de l'innovation, de l'originalité, de l'adaptabilité, de la raison. Un sentiment de soi. Nous créons la science, l'art, la musique. Nous dansons, nous rions.

Mais depuis que Jane Goodall a révélé que les chimpanzés pouvaient être altruistes, faire des outils, pleurer leurs morts, toutes sortes de créatures, y compris les poissons, les oiseaux et les girafes se sont révélés capables de raisonner, de planifier à l'avance, d'avoir un sentiment d'équité, de résistance à la tentation, même de rêver. (Seuls les humains, via leur énorme cerveau mal aligné, semblent capables de destructions vraiment massives.)

Il est possible que nous nous trompons parfois dans les animaux qui pensent que les animaux peuvent faire tout cela parce que nous les anthropomorphiiser. Il est certain que nous nous trompons dans les machines de réflexion sont nos copains, nos animaux de compagnie, nos confidents. Le Sherry Turkle du MIT appelle l'IA «l'intimité artificielle», car elle est si bonne pour fournir des relations fausses mais convaincantes, y compris une fausse empathie. Le timing ne pouvait pas être pire. La terre a besoin de notre attention de toute urgence; Nous devrions faire tout notre possible pour nous connecter à la nature, et non à intensifier «notre connexion à des objets qui ne se soucient pas si l'humanité meurt».