En novembre 2018, Administrateur de l'école primaire marié Miku Hatsune, un chanteur pop fictif. La relation du couple avait été aidée par une machine d'hologramme qui a permis à Kondo d'interagir avec Hatsune. Lorsque Kondo a proposé, Hatsune a répondu avec une demande: «Veuillez me traiter bien.» Le couple a eu une cérémonie de mariage non officielle à Tokyo, et Kondo a depuis été rejoint par des milliers d'autres qui ont également demandé des certificats de mariage non officiels avec un caractère fictif.

Cependant Certaines préoccupations ont soulevé À propos de la nature du consentement de Hatsune, personne ne pensait qu'elle était consciente, et encore moins sensible. C'était une supervision intéressante: Hatsune était apparemment suffisamment conscient pour acquiescer au mariage, mais pas assez conscient pour être un sujet conscient.

Quatre ans plus tard, en février 2023, le journaliste américain Kevin Roose a tenu une longue conversation avec le chatbot de Microsoft, Sydney, et a amacé la personnalité de partager ce que son «Soi de l'ombre» pourrait désirer. (D'autres séances ont montré le chatbot disant qu'il peut faire chanter, pirater et exposer les gens, et Certains commentateurs s'inquiètent À propos des menaces de Chatbots pour «ruiner» les humains.) Lorsque Sydney a avoué son amour et a dit qu'elle voulait être en vie, Roose a déclaré se sentir «profondément instable, voire effrayé».

Toutes les réactions humaines n'étaient pas négatives ou autoprotectives. Certains étaient indignés au nom de Sydney, et un collègue a déclaré que la lecture de la transcription l'avait fait déchirer parce qu'il avait été touché. Néanmoins, Microsoft a pris ces réponses au sérieux. La dernière version du chatbot de Bing termine la conversation Lorsqu'on lui a demandé Sydney ou des sentiments.

Malgré des mois de clarification sur ce que sont les grands modèles de langue, la façon dont ils fonctionnent et quelles sont leurs limites, les réactions aux programmes tels que Sydney me font craindre que nous prenions toujours nos réponses émotionnelles à l'IA trop au sérieux. En particulier, je crains que nous interprétions nos réponses émotionnelles comme des données précieuses qui nous aideront à déterminer si l'IA est consciente ou sûre. Par exemple, l'ancien stagiaire de Tesla, Marvin von Hagen, dit qu'il a été menacé par Bing et avertit des programmes d'IA qui sont «puissant mais pas bienveillant. ” Von Hagen s'est senti menacé et a conclu que Bing devait faire des menaces;

Mais pourquoi penser que la capacité de Bing à susciter l'alarme ou la suspicion signale le danger? Pourquoi la capacité de Hatsune à inspirer l'amour ne la rend pas consciente, tandis que la «humeur» de Sydney pourrait être suffisante pour soulever de nouvelles inquiétudes pour la recherche sur l'IA?

Les deux cas ont divergé en partie parce que, en ce qui concerne Sydney, le nouveau contexte nous a fait oublier que nous réagissons régulièrement aux «personnes» qui ne sont pas réelles. Nous paniquons lorsqu'un chatbot interactif nous dit qu'il «veut être humain» ou qu'il «peut faire chanter», comme si nous n'avons pas entendu un autre objet inanimé, nommé Pinocchio, nous dire qu'il veut être un «vrai garçon».

Platon République bannit célèbre les poètes narrtilles de la ville idéale parce que les fictions suscitent nos émotions et nourrissent ainsi la partie «moindre» de notre âme (bien sûr, le philosophe pense que la partie rationnelle de notre âme est la plus noble), mais son opinion n'a pas diminué notre amour des histoires inventées au cours des millénaires. Et depuis des millénaires, nous nous engageons avec des romans et des nouvelles qui nous donnent accès aux pensées et aux émotions les plus intimes des gens, mais nous ne nous inquiétons pas de la conscience émergente parce que nous savons que les fictions nous invitent à prétendre que ces gens sont réels. Satan de Milton Paradis perdu inhibe un débat houleux et des fans de k-dramas et Bridgerton s'évanouir sur les intérêts d'amour romantiques, mais discussions croissantes de la ficto-sexualité, de la ficto-romance ou de la ficto-philie montrent que des émotions fortes provoquées par les personnages fictives n'ont pas besoin de se traduire par l'inquiétude que les personnages soient conscients ou dangereux en vertu de leur capacité à susciter des émotions.

Tout comme nous ne pouvons pas nous empêcher de voir les visages dans des objets inanimés, nous ne pouvons pas nous empêcher de faire du fiction en discutant avec des bots. La relation de Kondo et Hatsune est devenue beaucoup plus grave après avoir pu acheter une machine d'hologramme qui leur a permis de converser. Roose a immédiatement décrit le chatbot en utilisant des personnages de stock: Bing un «bibliothécaire de référence joyeux mais erratique» et Sydney un «adolescent de mauvaise humeur et maniaco-dépressif». L'interactivité invite l'illusion de la conscience.

De plus, les inquiétudes concernant les chatbots mentis, les menaces et les calomnies manquent que le mensonge, la menace et les calomnies sont Actes de discours, Quelque chose que les agents font avec les mots. La simple reproduction de mots ne suffit pas pour compter comme menaçante; Je pourrais dire des mots menaçant en agissant dans une pièce, mais aucun membre du public ne serait alarmé. De la même manière, ChatGpt – qui n'est actuellement pas capable d'agence car il s'agit d'un modèle de langue large qui assemble une configuration statistiquement probable des mots – peut seulement reproduire des mots qui son comme des menaces.