Il y a juste un gros problème: Shannon n'a écrit aucun article de ce type, et les citations offertes par Bing sont constituées de fabrications – ou des «hallucinations» dans le langage générateur de l'IA – par deux chatbots, Pi de l'inflexion ai et Claude d'Anthropic.

Ce piège génératif-ai qui a provoqué des mecles Daniel Griffinqui a récemment terminé un doctorat sur la recherche Web à UC Berkeley. En juillet, il a publié les réponses fabriquées des bots de son blog. Griffin avait demandé aux deux robots: «Veuillez résumer Claude E. Shannon« A Short History of Searching »(1948)». Il a pensé que c'était un bel exemple du type de requête qui fait ressortir le pire des modèles de langues, car il demande des informations similaires au texte existant trouvé dans ses données de formation, encourageant les modèles à faire des déclarations très confiantes. Shannon a écrit un incroyablement article important en 1948 intitulé «Une théorie mathématique de la communication», qui a aidé poser les bases pour le domaine de la théorie de l'information.

La semaine dernière, Griffin a découvert que son article de blog et les liens vers ces résultats de chatbot avaient empoisonné par inadvertance Bing avec de fausses informations. Sur un coup de tête, il a essayé de nourrir la même question sur Bing et a découvert que les hallucinations du chatbot qu'il avait induites ont été mises en évidence au-dessus des résultats de recherche de la même manière que les faits tirés de Wikipedia pourraient l'être. «Cela ne donne aucune indication à l'utilisateur que plusieurs de ces résultats vous envoient réellement directement aux conversations que les gens ont avec les LLM», explique Griffin. (Bien que Wired puisse initialement reproduire le résultat de Bing troublant, après une enquête à Microsoft, il semble avoir été résolu.)

L'expérience accidentelle de Griffin montre comment la ruée vers le déploiement de l'IA de style Chatgpt trébuche même les entreprises le plus familiers avec la technologie. Et comment les défauts de ces systèmes impressionnants peuvent nuire aux services que des millions de personnes utilisent chaque jour.

Il peut être difficile pour les moteurs de recherche de détecter automatiquement le texte généré par l'IA. Mais Microsoft aurait pu implémenter certaines garanties de base, peut-être à moins que du texte tiré des transcriptions de chatbot de devenir un extrait en vedette ou d'ajouter des avertissements que certains résultats ou citations sont constitués de texte imaginé par un algorithme. Griffin a ajouté un avertissement à son article de blog avertissant que le résultat de Shannon était faux, mais Bing semblait initialement l'ignorer.

Bien que Wired puisse initialement reproduire le résultat de Bing troublant, il semble désormais avoir été résolu. Caitlin Roulston, directeur des communications chez Microsoft, a déclaré que la société a ajusté Bing et modifie régulièrement le moteur de recherche pour l'empêcher de montrer un contenu bas. “Il y a des circonstances où cela peut apparaître dans les résultats de la recherche, souvent parce que l'utilisateur a exprimé une intention claire de voir ce contenu ou parce que le seul contenu pertinent pour les termes de recherche saisis par l'utilisateur est une faible autorité”, explique Roulston. «Nous avons développé un processus pour identifier ces problèmes et ajuster les résultats en conséquence.»

Francesca Tripodiun professeur adjoint à l'Université de Caroline du Nord à Chapel Hill, qui étudie comment les requêtes de recherche qui produisent peu de résultats, surnommées vides de données, peuvent être utilisées pour manipuler les résultats, dit que les modèles de langues importants sont affectés par le même problème, car ils sont formés sur les données Web et sont plus susceptibles d'halluciner lorsqu'une réponse est absente de cette formation. Avant longtemps, dit Tripodi, nous pouvons voir les gens utiliser du contenu généré par l'IA pour manipuler intentionnellement les résultats de recherche, selon une tactique, l'expérience accidentelle de Griffin pourrait être puissante. “Vous allez voir de plus en plus des inexactitudes, mais ces inexactitudes peuvent également être exercées et sans autant de sens de l'informatique”, explique Tripodi.