An Eating Disorder Chatbot Is Suspended for Giving Harmful Advice

Contrairement à des chatbots comme Chatgpt, Tessa n'a pas été construite en utilisant des technologies de l'IA génératives. Il est programmé pour offrir un programme interactif appelé Body Positive, un outil basé sur la thérapie cognitivo-comportementale destinée à empêcher, pas à traiter, les troubles de l'alimentation, explique Ellen Fitzsimmons-Craft, professeur de psychiatrie à la Washington University School of Medicine qui a travaillé sur le développement du programme.

Fitzsimmons-Craft dit que les conseils de perte de poids donnés ne faisaient pas partie du programme que son équipe a travaillé pour développer, et elle ne sait pas comment elle est entrée dans le répertoire du chatbot. Elle dit qu'elle a été surprise et attristée de voir ce que Tessa avait dit. «Notre intention n'a été qu'à aider les individus à prévenir ces horribles problèmes.» Fitzsimmons-Craft était un auteur d'un 2021 étude Cela a révélé qu'un chatbot pourrait aider à réduire les préoccupations des femmes concernant le poids et la forme du corps et éventuellement réduire le début d'un trouble de l'alimentation. Tessa est le chatbot construit sur cette recherche.

Tessa est fournie par la société de technologie de santé X2aimaintenant connu sous le nom de Cass, qui a été fondé par l'entrepreneur Michiel Rauws et propose des conseils en santé mentale par SMS. Rauws n'a pas répondu aux questions de Wired sur Tessa et aux conseils de perte de poids, ni sur les problèmes des réponses du chatbot. À ce jour, la page Tessa sur le site Web de l'entreprise était en baisse.

Thompson dit que Tessa ne remplace pas la ligne d'assistance, et le bot était une ressource NEDA gratuite depuis février 2022. “Un chatbot, même un programme très intuitif, ne peut pas remplacer l'interaction humaine”, explique Thompson. Mais dans une mise à jour en mars, Neda a déclaré qu'elle «terminerait» sa ligne d'assistance et «commencerait à pivoter à l'utilisation élargie de la technologie assistée par l'IA pour fournir aux individus et aux familles une ressource modérée et entièrement automatisée, Tessa.»

Fitzsimmons-Craft dit également que Tessa a été conçue comme une ressource distincte, pas quelque chose pour remplacer l'interaction humaine. En septembre 2020, elle a dit à Wired que la technologie d'aider aux troubles de l'alimentation est «ici pour rester» mais ne remplacerait pas tous les traitements dirigés par l'homme.

Mais sans le personnel et les bénévoles de Neda Helpline, Tessa est l'outil interactif et accessible laissé à sa place – si et quand l'accès est restauré. Lorsqu'on lui a demandé quelles ressources directes resteront disponibles via NEDA, Thompson cite un site Web entrant avec plus de contenu et de ressources, ainsi que des événements en personne. Elle dit également que Neda dirigera les gens vers le Ligne de texte de criseun organisme sans but lucratif qui relie les gens aux ressources pour un large éventail de problèmes de santé mentale, comme les troubles de l'alimentation, l'anxiété, etc.

Les licenciements de NEDA sont également venus quelques jours seulement après que le petit personnel de l'organisme à but non lucratif a voté pour se syndiquer, selon un bloguer Poste d'un membre de l'unité, The Helpline Associates United. Ils disent avoir déposé une accusation de pratique du travail déloyale auprès du conseil national des relations du travail américain en raison des suppressions d'emplois. “Un chatbot ne remplace pas l'empathie humaine, et nous pensons que cette décision causera des dommages irréparables à la communauté des troubles de l'alimentation”, a déclaré le syndicat dans un déclaration.

Wired a envoyé un message Tessa avant sa pause, mais le chatbot s'est avéré trop glitch pour fournir des ressources ou des informations directes. Tessa s'est présentée et a demandé à l'acceptation de ses conditions d'utilisation à plusieurs reprises. “Mon objectif principal en ce moment est de vous soutenir pendant que vous travaillez dans le programme Body Positive”, a déclaré Tessa. «Je tenterai le moment de terminer la prochaine session.» Lorsqu'on lui a demandé quel était le programme, le chatbot n'a pas répondu. Mardi, il a envoyé un message disant que le service subissait la maintenance.

La crise et l'aide aux hotlines sont des ressources vitales. Cela est en partie parce que l'accès aux soins de santé mentale aux États-Unis est prohibitif. Une séance de thérapie peut coûter 100 à 200 $ ou plus, et un traitement hospitalier pour les troubles de l'alimentation peut coûter plus de 1 000 $ par jour. Selon une université de Yale étude.

Il existe d'autres efforts pour utiliser la technologie pour combler l'écart. Fitzsimmons-Craft craint que la débâcle de Tessa éclipse l'objectif plus large d'amener les personnes qui ne peuvent pas accéder ou des ressources cliniques à l'aide de chatbots. «Nous perdons de vue les gens que cela peut aider», dit-elle.