A Book App Used AI to ‘Roast’ Its Users. It Went Anti-Woke Instead
Fable, une populaire L'application de médias sociaux qui se décrit comme un paradis pour les « rats de bibliothèque et les bingewatchers », a créé une fonction de résumé de fin d'année alimentée par l'IA récapitulant les livres que les utilisateurs ont lus en 2024. Elle se voulait ludique et amusante, mais certains des récapitulatifs » prit un ton étrangement combatif. Le résumé de l'écrivain Danny Groves, par exemple, lui demande s'il est « déjà d'humeur à entendre le point de vue d'un homme blanc cis et hétérosexuel » après l'avoir qualifié de « passionné de la diversité ».
Le résumé de l'influenceuse littéraire Tiana Trammell, quant à lui, se terminait par le conseil suivant : “N'oubliez pas de faire surface pour un auteur blanc occasionnel, d'accord ?”
Trammell a été sidérée et elle a vite réalisé qu'elle n'était pas seule après avoir partagé son expérience avec les résumés de Fable sur Threads. « J’ai reçu plusieurs messages », dit-elle, de personnes dont les résumés contenaient des commentaires inappropriés sur « le handicap et l’orientation sexuelle ».
Depuis les débuts de Spotify Wrapped, les fonctionnalités de récapitulation annuelle sont devenues omniprésentes sur Internet, fournissant aux utilisateurs un aperçu du nombre de livres et d'articles de presse qu'ils ont lus, des chansons qu'ils ont écoutées et des entraînements qu'ils ont effectués. Certaines entreprises utilisent désormais l’IA pour produire entièrement ou augmenter la présentation de ces indicateurs. Spotify, par exemple, propose désormais un podcast généré par l'IA dans lequel des robots analysent votre historique d'écoute et font des suppositions sur votre vie en fonction de vos goûts. Fable a suivi la tendance en utilisant l'API d'OpenAI pour générer des résumés des 12 derniers mois des habitudes de lecture de ses utilisateurs, mais il ne s'attendait pas à ce que le modèle d'IA crache des commentaires qui prennent l'allure d'un expert anti-réveillé. .
Fable s'est ensuite excusé sur plusieurs réseaux sociaux, notamment Threads et Instagram, où il a posté une vidéo d'un exécutif délivrant le mea culpa. “Nous sommes profondément désolés pour le mal causé par certains de nos résumés de lecture cette semaine”, a écrit la société dans la légende. “Nous ferons mieux.”
Kimberly Marsh Allee, responsable de la communauté de Fable, a déclaré à WIRED avant la publication que la société travaillait sur une série de changements pour améliorer ses résumés d'IA, y compris une option de désinscription pour les personnes qui n'en veulent pas et des divulgations plus claires indiquant qu'ils ' re généré par l’IA. “Pour le moment, nous avons supprimé la partie du modèle qui rôtit le lecteur de manière ludique, et à la place le modèle résume simplement les goûts de l'utilisateur en matière de livres”, a-t-elle déclaré.
Après la publication, Marsh Allee a déclaré que Fable avait plutôt pris la décision de supprimer immédiatement les résumés de lecture 2024 générés par l'IA, ainsi que deux autres fonctionnalités utilisant l'IA.
Pour certains utilisateurs, ajuster l’IA ne semble pas être une réponse adéquate. L'écrivain fantastique et romantique AR Kaufer a été consternée lorsqu'elle a vu des captures d'écran de certains résumés sur les réseaux sociaux. «Ils doivent dire qu’ils suppriment complètement l’IA. Et ils doivent publier une déclaration, non seulement sur l’IA, mais aussi en présentant des excuses aux personnes concernées », déclare Kaufer. “Ces 'excuses' sur Threads ne semblent pas sincères, mentionnant que l'application est 'ludique' comme si elle excuse d'une manière ou d'une autre les citations racistes/sexistes/capacitaires.” En réponse à l'incident, Kaufer a décidé de supprimer son compte Fable.