OpenAI intensifie évidemment également ses propres efforts en matière de robotique. La semaine dernière, Caitlin Kalinowski, qui dirigeait auparavant le développement de casques de réalité virtuelle et augmentée chez Meta, annoncé sur LinkedIn qu'elle rejoignait OpenAI pour travailler sur le matériel, notamment la robotique.

Lachy Groom, ami du PDG d'OpenAI, Sam Altman et investisseur et cofondateur de Physical Intelligence, rejoint l'équipe dans la salle de conférence pour discuter de l'aspect commercial du plan. Groom porte un sweat à capuche coûteux et semble remarquablement jeune. Il souligne que l’intelligence physique dispose de nombreuses pistes pour poursuivre une percée dans l’apprentissage des robots. «Je viens d'avoir un appel avec Kushner», dit-il en référence à Joshua Kushner, fondateur et associé directeur de Thrive Capital, qui a dirigé le cycle d'investissement d'amorçage de la startup. Il est aussi bien sûr le frère du gendre de Donald Trump, Jared Kushner.

Quelques autres entreprises recherchent désormais le même type de percée. L'entreprise Skild, fondée par des roboticiens de l'université Carnegie Mellon, a levé 300 millions de dollars en juillet. « Tout comme OpenAI a créé ChatGPT pour le langage, nous construisons un cerveau à usage général pour les robots », déclare Deepak PathakPDG de Skild et professeur adjoint à la CMU.

Tout le monde n'est pas sûr que cela puisse être réalisé de la même manière qu'OpenAI a déchiffré le code de langage de l'IA.

Il n'existe tout simplement pas de référentiel à l'échelle Internet d'actions de robots similaire aux données texte et image disponibles pour la formation des LLM. Réaliser une percée dans le domaine de l’intelligence physique pourrait de toute façon nécessiter une quantité exponentielle de données.

“Les mots en séquence sont, dimensionnellement parlant, un tout petit jouet comparé à tous les mouvements et activités des objets du monde physique”, explique Illah Nourbakhsh, roboticien à la CMU qui n'est pas impliqué dans Skild. “Les degrés de liberté dont nous disposons dans le monde physique sont bien plus que de simples lettres de l'alphabet.”

Ken Goldberg, un universitaire de l'Université de Berkeley qui travaille sur l'application de l'IA aux robots, prévient que l'enthousiasme suscité par l'idée d'une révolution robotique alimentée par les données ainsi que par les humanoïdes atteint des proportions dignes d'un battage médiatique. « Pour atteindre les niveaux de performances attendus, nous aurons besoin d'une « bonne ingénierie à l'ancienne », de modularité, d'algorithmes et de mesures », explique-t-il.

Russ Tedrakeinformaticien au Massachusetts Institute of Technology et vice-président de la recherche en robotique au Toyota Research Institute, affirme que le succès des LLM a amené de nombreux roboticiens, y compris lui-même, à repenser leurs priorités de recherche et à se concentrer sur la recherche de moyens de poursuivre l'apprentissage robotique de manière plus approfondie. échelle ambitieuse. Mais il admet que de formidables défis demeurent.

“C'est encore un peu un rêve”, dit Tedrake à propos de l'idée de débloquer des capacités robotiques générales grâce à un apprentissage à grande échelle. “Même si les gens ont montré des signes de vie.”

Le secret pour progresser, suggère Tedrake, pourrait impliquer d'apprendre aux robots à apprendre de nouvelles façons, par exemple en regardant des vidéos YouTube d'humains en train de faire des choses. On se demande si cette méthode pourrait conduire à des comportements étranges dans les futures machines, comme une capacité surnaturelle à faire des danses TikTok ou des retournements de bouteilles. Tedrake explique que l'approche consisterait, dans un premier temps, simplement à enseigner aux robots des mouvements simples, comme atteindre quelque chose, et qu'elle devrait être combinée avec des données collectées lors d'un véritable travail robotique.