Meta Is Already Training a More Powerful Successor to Llama 3

Zuckerberg pris sur Instagram Aujourd'hui pour expliquer que Meta intégrerait le nouvel assistant Meta AI, propulsé par Llama 3, dans des produits qui incluent WhatsApp, Instagram, Facebook et Messenger.

Meta a déclaré dans son article de blog annonçant Llama 3 qu'il s'était largement concentré sur l'amélioration des données de formation utilisées pour développer le modèle. Il a été nourri sept fois plus de données que son prédécesseur, Llama 2, a indiqué la société. Certains experts de l'IA ont noté que les chiffres publiés par Meta ont également montré que la création de Llama 3 nécessite d'énormes quantités d'énergie pour alimenter les serveurs requis.

Les capacités croissantes des modèles d'IA open source ont incité certains experts à craindre qu'ils puissent faciliter le développement d'armes cyber, chimiques ou biologiques – ou même de devenir hostiles envers les humains. Meta a outils publiés Le fait qu'il soit dit peut aider à garantir que LLAMA ne publie pas d'énoncés potentiellement nocifs.

D'autres dans le domaine de l'IA disent que les modèles LLAMA de Meta ne sont pas aussi ouverts qu'ils pourraient l'être. La licence open source de la société sur les modèles apporte certaines restrictions sur ce que les chercheurs et les développeurs peuvent construire.

“C'est formidable de voir de plus en plus de modèles libérer ouvertement leurs poids”, a déclaré Luca Soldaini, chercheur appliqué à l'Allen Institute for AI, un laboratoire à but non lucratif, une déclaration de NA après la sortie de Llama 3. «Mais la communauté ouverte a besoin d'accès à toutes les autres parties du pipeline AI – ses données, la formation, les journaux, le code et les évaluations. C'est ce qui accélérera finalement notre compréhension collective de ces modèles. »

Stella Bidermanun chercheur d'IA impliqué avec Eleutheraiun projet d'IA open source à but non lucratif, explique que la licence de META pour Llama 2 a limité les expériences que les chercheurs de l'IA peuvent exécuter avec lui, et ajoute que la licence LLAMA 3 semble encore plus restrictive. «Meta publie des poids mais est célèbre sur ce que vous pouvez en faire», explique Biderman.

Une partie de la licence du modèle indique que les entreprises avec «plus de 700 millions d'utilisateurs actifs mensuels» doivent rechercher une licence spéciale de Meta – une clause apparemment conçue pour empêcher le projet d'aider les rivaux les plus proches de l'entreprise.

Malgré cela, Llama 3 semble susceptible de déclencher une nouvelle explosion d'expérimentation de l'IA. Clement DeLange, PDG de Étreinteun référentiel pour les modèles d'IA ouverts, y compris Llama 3, indique que les développeurs ont créé plus de 30 000 variantes de Llama 2. “Je suis sûr que nous verrons également une vague de nouveaux modèles basés sur Llama 3”, dit-il. «Awesome Community Move by Meta.»