Fin juillet, Openai a commencé à déployer une interface vocale étrangement humaine pour Chatgpt. Dans Une analyse de la sécurité Sortie aujourd'hui, la société reconnaît que cette voix anthropomorphe peut attirer certains utilisateurs à devenir émotionnellement attachés à leur chatbot.

Les avertissements sont inclus dans une «carte système» pour GPT-4O, un document technique qui présente ce que l'entreprise croit être les risques associés au modèle, ainsi que les détails entourant les tests de sécurité et les efforts d'atténuation de la prise de l'entreprise pour réduire le risque potentiel.

OpenAI a été examiné au cours des derniers mois après qu'un certain nombre d'employés travaillant sur les risques à long terme de l'IA quittent l'entreprise. Certains ont par la suite accusé Openai d'avoir pris des chances inutiles et des dissidents de museau dans sa course à la commercialisation de l'IA. Révaluer plus de détails sur le régime de sécurité d'Openai peut aider à atténuer les critiques et à rassurer le public que l'entreprise prend la question au sérieux.

Les risques explorés dans la nouvelle carte système sont variés et comprennent le potentiel de GPT-4O pour amplifier les biais sociétaux, répartir la désinformation et aider au développement d'armes chimiques ou biologiques. Il révèle également les détails des tests conçus pour garantir que les modèles d'IA n'essaieront pas de se libérer de leurs commandes, de tromper les personnes ou de régler des plans catastrophiques.

Certains experts extérieurs félicitent Openai pour sa transparence, mais disent que cela pourrait aller plus loin.

Lucie-Aimee Kaffee, chercheuse en politique appliquée chez Hugging Face, une entreprise qui héberge les outils d'IA, note que la carte système d'Openai pour GPT-4O n'inclut pas de détails détaillés sur les données de formation du modèle ou qui possède ces données. “La question du consentement dans la création d'un ensemble de données aussi important couvrant plusieurs modalités, y compris du texte, de l'image et de la parole, doit être traitée”, explique Kaffee.

D'autres notent que les risques pourraient changer à mesure que les outils sont utilisés dans la nature. «Leur examen interne ne doit être que le premier élément de sécurité de l'IA», explique Neil Thompsonprofesseur au MIT qui étudie les évaluations des risques d'IA. «De nombreux risques ne se manifestent que lorsque l'IA est utilisée dans le monde réel. Il est important que ces autres risques soient catalogués et évalués à mesure que de nouveaux modèles émergent. »

La nouvelle carte système souligne à quelle vitesse les risques d'IA évoluent avec le développement de nouvelles fonctionnalités puissantes telles que l'interface vocale d'Openai. En mai, lorsque la société a dévoilé son mode vocal, qui peut répondre rapidement et gérer les interruptions dans un va-et-vient naturel, de nombreux utilisateurs ont remarqué qu'il semblait trop coquenti dans les démos. La société a ensuite été critiquée de l'actrice Scarlett Johansson, qui l'a accusé de copier son style de discours.

Une section de la carte système intitulée «Anthropomorphisation et dépendance émotionnelle» explore les problèmes qui surviennent lorsque les utilisateurs perçoivent l'IA en termes humains, quelque chose apparemment exacerbé par le mode vocal comme humain. Au cours de l'association rouge ou des tests de stress, de GPT-4O, par exemple, les chercheurs d'Openai ont remarqué des cas de discours des utilisateurs qui ont transmis un sentiment de connexion émotionnelle avec le modèle. Par exemple, les gens ont utilisé un langage tel que «c'est notre dernier jour ensemble».

L'anthropomorphisme peut amener les utilisateurs à faire plus confiance à la sortie d'un modèle lorsqu'il «hallucine» des informations incorrectes, dit Openai. Au fil du temps, cela pourrait même affecter les relations des utilisateurs avec d'autres personnes. «Les utilisateurs peuvent nouer des relations sociales avec l'IA, ce qui réduit leur besoin d'interaction humaine – bénéficiant potentiellement à des individus solitaires mais affectant peut-être des relations saines», indique le document.

Joaquin Quiñonero Candela, responsable de la préparation à Openai, dit que le mode vocal pourrait évoluer vers une interface uniquement puissante. Il note également que le type d'effets émotionnels observés avec GPT-4O peut être positif – parlez, en aidant ceux qui sont seuls ou qui ont besoin de pratiquer les interactions sociales. Il ajoute que l'entreprise étudiera de près l'anthropomorphisme et les connexions émotionnelles, y compris en surveillant comment les testeurs bêta interagissent avec Chatgpt. «Nous n'avons pas de résultats à partager pour le moment, mais c'est sur notre liste de préoccupations», dit-il.