Les capacités époustouflantes de Chatgpt, le chatbot de Startup Openai, a déclenché une vague de nouveaux intérêts et d'investissement dans l'intelligence artificielle. Mais à la fin de la semaine dernière, le PDG d'Openai a averti que la stratégie de recherche qui a fait naissance au bot est jouée. On ne sait pas exactement d'où viendront les avancées futures.

OpenAI a livré une série d'avancées impressionnantes dans l'IA qui fonctionne avec le langage ces dernières années en prenant des algorithmes d'apprentissage machine existants et en les étendant à une taille précédemment inimaginée. GPT-4, le dernier de ces projets, a probablement été formé à l'aide de milliers de mots de texte et plusieurs milliers de puces informatiques puissantes. Le processus a coûté plus de 100 millions de dollars.

Mais le PDG de l'entreprise, Sam Altman, affirme que de nouveaux progrès ne proviendront pas de l'amélioration des modèles. “Je pense que nous sommes à la fin de l'époque où ça va être ces modèles géants et géants”, a-t-il déclaré à un public lors d'un événement organisé au MIT à la fin de la semaine dernière. «Nous les rendrons meilleurs par d'autres moyens.»

La déclaration d'Altman suggère une touche inattendue dans la course pour développer et déployer de nouveaux algorithmes d'IA. Depuis que OpenAI a lancé Chatgpt en novembre, Microsoft a utilisé la technologie sous-jacente pour ajouter un chatbot à son moteur de recherche Bing, et Google a lancé un chatbot rival appelé Bard. Beaucoup de gens se sont précipités pour expérimenter l'utilisation de la nouvelle race de chatbot pour aider au travail ou aux tâches personnelles.

Pendant ce temps, de nombreuses startups bien financées, dont Anthropique, AI21, Adhéreret Personnage.ailancent d'énormes ressources dans la construction d'algorithmes toujours plus grands dans le but de rattraper la technologie d'Openai. La version initiale de Chatgpt était basée sur une version légèrement mise à niveau de GPT-3, mais les utilisateurs peuvent désormais également accéder à une version alimentée par le GPT-4 plus compétent.

La déclaration d'Altman suggère que GPT-4 pourrait être la dernière avance majeure pour émerger de la stratégie d'Openai pour agrandir les modèles et leur nourrir plus de données. Il n'a pas dit quel type de stratégies ou de techniques de recherche pourrait prendre sa place. Dans le Document décrivant GPT-4Openai dit que ses estimations suggèrent que la diminution des rendements sur la taille du modèle de mise à l'échelle. Altman a déclaré qu'il existe également des limites physiques au nombre de centres de données que l'entreprise peut construire et à quelle vitesse il peut les construire.

Nick Frosst, un cofondateur de Cohere qui travaillait auparavant sur l'IA chez Google, dit que le sentiment d'Altman que le fait de devenir plus grand ne fonctionnera pas indéfiniment. Lui aussi croit que les progrès sur les transformateurs, le type de modèle d'apprentissage automatique au cœur de GPT-4 et de ses rivaux, se trouve au-delà de l'échelle. «Il existe de nombreuses façons de rendre les transformateurs bien, bien meilleurs et plus utiles, et beaucoup d'entre eux n'impliquent pas d'ajouter des paramètres au modèle», dit-il. Frosst dit que les nouveaux conceptions ou architectures de modèles d'IA, et un autre réglage basé sur la rétroaction humaine sont des directions prometteuses que de nombreux chercheurs explorent déjà.

Chaque version de la famille influente des algorithmes linguistiques d'Openai se compose d'un réseau neuronal artificiel, logiciel inspiré de manière lâche de la façon dont les neurones fonctionnent ensemble, qui est formé pour prédire les mots qui devraient suivre une chaîne de texte donnée.

Le premier de ces modèles linguistiques, GPT-2, a été annoncé en 2019. Dans sa forme la plus importante, il comptait 1,5 milliard de paramètres, une mesure du nombre de connexions réglables entre ses neurones artificiels bruts.

À l'époque, c'était extrêmement important par rapport aux systèmes précédents, grâce en partie aux chercheurs d'OpenAI, qui constatent que l'échelle a rendu le modèle plus cohérent. Et la société a fait de la GPT-2 le successeur de GPT-2, GPT-3, annoncé en 2020, encore plus grand, avec 175 milliards de paramètres. Les grandes capacités de ce système à générer des poèmes, des e-mails et d'autres texte ont aidé à convaincre d'autres entreprises et institutions de recherche à pousser leurs propres modèles d'IA à une taille similaire et encore plus grande.