Quelle est la profondeur d'une personne que l'effet Eliza est, en partie, un choix de conception. Les entreprises peuvent s'appuyer sur le sentiment qu'il y a un esprit derrière le programme ou se protéger contre cela, explique Emily Bender, professeur de linguistique à l'Université de Washington qui a fait valoir que les machines générateurs de texte de type humain abuser de notre empathie et de notre confiance. Openai illustre cette poussée vers des bots imitant les humains. «Ils semblent honnêtement croire qu'ils créent, en citations,« AI », explique Bender. Ces dernières semaines, Openai mis à jour ses «valeurs fondamentales»Pour mettre davantage l'accent sur l'intelligence générale artificielle. (Openai a refusé de commenter cette histoire.)

À un niveau, l'anthropomorphisation encourage certains types de comportement des utilisateurs. Prenez une balle magique 8, dit Bender. Les gens apprennent rapidement qu'ils ne peuvent pas demander au jouet, par exemple, des recommandations de déjeuner et adapter leurs questions pour travailler avec «Oui», «Non», «Mieux vaut ne pas vous dire maintenant», etc. «En jouant avec le Magic 8 Ball, nous façonnons notre comportement pour donner un sens à ce qui revient», explique Bender. “C'est la même chose avec ces chatbots.”

Surtout, ces choix de conception stimulent également l'engagement. Les programmes humains nous séduisent: Replika (l'application) serait assez terne si elle refusait de montrer une personnalité. De même, une application comme Chatgpt évoque un esprit imaginaire tout en alimentant notre mauvaise compréhension des ordinateurs comme objectif et impartial. Bender fait valoir qu'il devrait y avoir une plus grande transparence autour de la façon dont ces systèmes sont formés et de leur utilisation.

Chatbots de santé mentale peut comporter des risques similaires. Jodi Halpern, professeur de bioéthique à UC Berkeley, dont le travail a contesté l'idée d'utiliser des chatbots d'IA pour aider à répondre à la demande croissante de soins de santé mentale, est devenu de plus en plus préoccupé par une poussée marketing pour vendre ces applications en tant que compagnons attentionnés. Elle craint que les patients soient encouragés à développer des relations dépendantes – de «confiance, intimité et vulnérabilité» – avec une application. C'est une forme de manipulation, dit Halpern. Et si l'application échoue à l'utilisateur, il n'y a souvent pas de professionnel de la santé mentale prêt à venir à leur aide. L'intelligence artificielle ne peut pas défendre l'empathie humaine, dit-elle.

«Le modèle marketing et commercial des applications est ce qui m'inquiète», explique Halpern. «J'adore les utilisations positives de la technologie, et je pense que les modèles de grands langues peuvent faire beaucoup de choses intéressantes et utiles dans le monde. Mais lorsque les entreprises utilisent un modèle commercial basé sur l'essai de faire en sorte que les gens aient des relations vulnérables basées sur la confiance avec leurs applications, elles créent des risques. »

Actuellement, les réglementations pour les robots de santé mentale sont threadbare. Pendant la pandémiela Food and Drug Administration des États-Unis a relâché les règles pour faciliter les soins à distance. Halpern aimerait voir un marketing plus précis: au lieu de compagnons, elle suggère à la marque des chatbots comme une sorte de “journal intelligent” pour renforcer l'idée que lorsque nous parlons à une machine, nous parlons finalement à nous-mêmes. «La journalisation a toujours été un moyen pour les gens de développer des informations», dit-elle.

Dans une épidémie de solitude, dit Halpern, nous «assis des canards» pour des outils qui peuvent nous donner l'impression d'avoir trouvé un ami. Et ce n'est pas seulement que nous pourrions nous retrouver dans des situations dangereuses ou nocives, comme Chail. «Ce n'est pas non plus génial pour nous de déshumaniser quelque chose que nous anthropomorphiser», dit-elle. «Ce n'est pas que la machine a une conscience ou est sensible – c'est que la façon dont nous nous conduisons vers quoi que ce soit fait partie de qui nous sommes.»