La technologie qui Sous-Pin Chatgpt a le potentiel de faire bien plus que de simplement parler. Fan Linxi “Jim”un chercheur de l'IA chez le fabricant de puces Nvidia, a travaillé avec certains collègues pour trouver un moyen de définir le puissant modèle linguistique GPT-4 – les «cerveaux» derrière Chatgpt et un nombre croissant d'autres applications et services – Loose à l'intérieur du jeu vidéo en bloc Minecraft.

L'équipe NVIDIA, qui comprenait Anima Anandkumar, directrice de l'apprentissage automatique de la société et professeur à Caltech, a créé un bot Minecraft appelé Voyager Cela utilise GPT-4 pour résoudre des problèmes à l'intérieur du jeu. Le modèle linguistique génère des objectifs qui aident l'agent à explorer le jeu et le code qui améliore les compétences du bot dans le jeu au fil du temps.

Voyager ne joue pas au jeu comme une personne, mais il peut lire directement l'état du jeu, via une API. Il pourrait voir une canne à pêche dans son inventaire et une rivière à proximité, par exemple, et utiliser GPT-4 pour suggérer l'objectif de faire de la pêche pour acquérir de l'expérience. Il utilisera ensuite cet objectif pour que GPT-4 génére le code nécessaire pour que le personnage l'ait atteint.

La partie la plus nouvelle du projet est le code que GPT-4 génère pour ajouter des comportements à Voyager. Si le code initialement suggéré ne fonctionne pas parfaitement, Voyager essaiera de l'affiner à l'aide de messages d'erreur, de commentaires du jeu et d'une description du code généré par GPT-4.

Au fil du temps, Voyager construit une bibliothèque de code afin d'apprendre à faire des choses de plus en plus complexes et à explorer davantage le jeu. Un graphique Créé par les chercheurs montre à quel point il est capable par rapport à d'autres agents Minecraft. Voyager obtient plus de trois fois plus d'éléments; explore plus de deux fois plus loin; et construit des outils 15 fois plus rapidement que les autres agents de l'IA. Le fan dit que l'approche pourrait être améliorée à l'avenir avec l'ajout d'un moyen pour le système d'incorporer des informations visuelles du jeu.

Alors que les chatbots comme Chatgpt ont séduit le monde avec leur éloquence et leurs connaissances apparentes – même si elles inventent souvent les choses – Voyager montre l'énorme potentiel pour que les modèles linguistiques d'effectuer des actions utiles sur les ordinateurs. L'utilisation de modèles de langue de cette manière pourrait peut-être automatiser de nombreuses tâches de bureau de routine, potentiellement l'un des plus grands impacts économiques de la technologie.

Le processus que Voyager utilise avec GPT-4 pour comprendre comment faire les choses dans Minecraft pourrait être adapté pour un assistant logiciel qui permet d'automatiser les tâches via le système d'exploitation sur un PC ou un téléphone. Openai, le démarrage qui a créé Chatgpt, a ajouté des «plugins» au bot qui lui permettent d'interagir avec des services en ligne tels que l'application de livraison d'épicerie Instacart. Microsoft, qui possède Minecraft, forme également des programmes d'IA pour le jouer, et l'entreprise récemment annoncé Copilot Windows 11, une fonctionnalité du système d'exploitation qui utilisera l'apprentissage automatique et les API pour automatiser certaines tâches. C'est peut-être une bonne idée d'expérimenter ce type de technologie dans un jeu comme Minecraft, où le code défectueux peut faire relativement peu de mal.

Les jeux vidéo sont depuis longtemps un banc d'essai pour les algorithmes d'IA, bien sûr. Alphago, le programme d'apprentissage automatique qui maîtrisait le jeu de société extrêmement subtil remonte en 2016, a coupé les dents en jouant à des jeux vidéo Atari simples. Alphago a utilisé une technique appelée Renforcement Learning, qui forme un algorithme pour jouer à un jeu en lui donnant des commentaires positifs et négatifs, par exemple du score à l'intérieur d'un jeu.

Il est plus difficile pour cette méthode de guider un agent dans un jeu ouvert tel que Minecraft, où il n'y a pas de score ou de jeu d'objectifs et où les actions d'un joueur peuvent ne pas payer avant beaucoup plus tard. Que vous pensiez ou non que nous devrions nous préparer à contenir la menace existentielle de l'IA en ce moment, Minecraft semble être un excellent terrain de jeu pour la technologie.