De toute évidence, la valeur des LLMS atteindra un nouveau niveau quand et si les hallucinations approchent zéro. Mais avant que cela ne se produise, je vous demande d'élever un toast aux confabulations de l'IA.

Les hallucinations me fascinent, même si les scientifiques de l'IA ont une assez bonne idée pourquoi ils se produisent. Une startup d'IA appelée Vectara les a étudiés et leur prévalence, même Compilation des taux d'hallucination de divers modèles lorsqu'on leur a demandé de résumer un document. (Le GPT-4 d'OpenAI fait le mieux, hallucinant seulement environ 3% du temps; le chat de palmier désormais obsolète de Google – pas son chat de chatbot! – avait un taux choquant de 27%, bien que pour être juste, résumant les documents ne faisait pas partie de la Wheelhouse de Palm Chat.) Vectara de Vectara, Amin Ahmad, a déclaré que les LLMS créent une représentation compressée de toutes les données d'entraînement Fed, a été nourri par les neurones artificiels. «La nature de la compression est que les beaux détails peuvent se perdre», dit-il. Un modèle finit par apprêter avec les réponses les plus probables aux requêtes des utilisateurs mais n'a pas les faits exacts à sa disposition. «Quand il arrive aux détails, cela commence à inventer les choses», dit-il.

Santosh Vempala, professeur d'informatique chez Georgia Tech, a également étudié les hallucinations. «Un modèle de langue n'est qu'un modèle probabiliste du monde», dit-il, pas un miroir véridique de la réalité. Vempala explique que la réponse d'un LLM s'efforce d'un étalonnage général avec le monde réel – comme représenté dans ses données de formation – qui est «une version faible de la précision». Ses recherchespublié avec Adam Kalai d'Openai, a constaté que les hallucinations sont inévitables pour les faits qui ne peuvent pas être vérifiés en utilisant les informations des données de formation d'un modèle.

C'est la science / mathématiques des hallucinations de l'IA, mais elles sont également notables pour l'expérience qu'ils peuvent susciter chez l'homme. Parfois, ces fabrications génératives peuvent sembler plus plausibles que les faits réels, qui sont souvent étonnamment bizarres et insatisfaisants. À quelle fréquence entendez-vous quelque chose décrit comme si étrange qu'aucun scénariste n'oserait le scripter dans un film? Ces jours-ci, tout le temps! Les hallucinations peuvent nous séduire en semblant nous fondre dans un monde moins choquant que celui que nous vivons. Dans leur tentative désespérée de remplir les blancs d'un récit satisfaisant, ils gravitent vers la version la plus statistiquement probable de la réalité telle que représentée dans leurs données de formation à l'échelle d'Internet, qui peuvent être une vérité en soi. Je le compare à un rédacteur de fiction écrivant un roman inspiré par de vrais événements. Un bon auteur viendra de ce qui est arrivé à un scénario imaginé qui révèle une vérité plus profonde, s'efforçant de créer quelque chose plus réel que réalité.

Quand j'ai demandé à Chatgpt d'écrire une nécrologie pour moi – l'admettre, vous avez également essayé – cela a bien des choses, mais quelques choses mal. Cela m'a donné des petits-enfants que je n'avais pas, décerné une date de naissance plus tôt et ajouté un prix du magazine national à mon curriculum vitae pour des articles que je n'ai pas écrits sur le buste Dotcom à la fin des années 1990. Dans l'évaluation par LLM de ma vie, c'est quelque chose qui devrait sont arrivés en fonction des faits de ma carrière. Je suis d'accord! Ce n'est qu'à cause de l'imperfection de la vraie vie que les éditeurs de l'American Society of Magazine n'ont pas réussi à m'attribuer la sculpture des éléphants metal qui vient avec cet honneur. Après près de 50 ans d'écriture de magazines, c'est sur eux, pas moi! C'est presque comme si Chatgpt avait pris un sondage sur des multivers possibles et j'ai découvert que dans la plupart d'entre eux, j'avais un prix Ellie. Bien sûr, j'aurais préféré que, ici dans mon propre coin du multivers, les juges humains m'avaient appelé sur le podium. Mais la reconnaissance d'un filet neuronal artificiel de vamping vaut mieux que rien.