Mark, PDG de Meta Zuckerberg a posé mercredi un nouveau jalon en matière de formation à l'IA générative, affirmant que la prochaine version majeure du modèle Llama de la société est formée sur un cluster de GPU qui est « plus grand que tout ce qui a été rapporté ».

Le développement de Llama 4 est en bonne voie, a déclaré Zuckerberg aux investisseurs et aux analystes lors d'une conférence téléphonique sur les résultats, avec un lancement initial attendu au début de l'année prochaine. “Nous entraînons les modèles Llama 4 sur un cluster plus grand que 100 000 H100, ou plus grand que tout ce que j'ai vu rapporté pour ce que d'autres font”, a déclaré Zuckerberg, faisant référence aux puces Nvidia populaires pour la formation des systèmes d'IA. “Je m'attends à ce que les plus petits modèles Llama 4 soient prêts en premier.”

L’augmentation de l’ampleur de la formation à l’IA avec plus de puissance de calcul et de données est largement considérée comme essentielle au développement de modèles d’IA beaucoup plus performants. Même si Meta semble désormais avoir la tête du peloton, la plupart des grands acteurs du domaine s’efforcent probablement d’utiliser des clusters de calcul dotés de plus de 100 000 puces avancées. En mars, Meta et Nvidia partage de détails sur les clusters d'environ 25 000 H100 qui ont été utilisés pour développer Llama 3. En juillet, Elon Musk vanté son entreprise xAI ayant travaillé avec X et Nvidia pour mettre en place 100 000 H100. « C'est le pôle de formation en IA le plus puissant au monde ! Musk a écrit sur X à l'époque.

Mercredi, Zuckerberg a refusé de fournir des détails sur les capacités avancées potentielles de Llama 4, mais a vaguement fait référence à de « nouvelles modalités », à un « raisonnement plus solide » et à « beaucoup plus rapide ».

L’approche de Meta en matière d’IA s’avère être un joker dans la course à la domination des entreprises. Les modèles de lamas peuvent être téléchargés dans leur intégralité gratuitement, contrairement aux modèles développés par OpenAI, Google et la plupart des autres grandes entreprises, accessibles uniquement via une API. Llama s'est avéré extrêmement populaire auprès des startups et des chercheurs qui cherchent à avoir un contrôle total sur leurs modèles, leurs données et leurs coûts de calcul.

Bien que présentée comme « open source » par Meta, la licence Llama impose certaines restrictions sur l'utilisation commerciale du modèle. Meta ne divulgue pas non plus les détails de la formation des modèles, ce qui limite la capacité des personnes extérieures à sonder son fonctionnement. La société a publié la première version de Llama en juillet 2023 et a rendu la dernière version, Llama 3.2, disponible en septembre.

Gérer une gamme aussi gargantuesque de puces pour développer Llama 4 présentera probablement des défis d'ingénierie uniques et nécessitera de grandes quantités d'énergie. Les dirigeants de Meta ont éludé mercredi une question d'analyste sur les contraintes d'accès à l'énergie dans certaines régions des États-Unis, qui ont entravé les efforts des entreprises pour développer une IA plus puissante.

Selon une estimationun cluster de 100 000 puces H100 nécessiterait 150 mégawatts de puissance. Le plus grand supercalculateur de laboratoire national aux États-Unis, Le capitaineen revanche, nécessite 30 mégawatts de puissance. Meta prévoit de dépenser jusqu'à 40 milliards de dollars en capital cette année pour fournir des centres de données et d'autres infrastructures, soit une augmentation de plus de 42 % par rapport à 2023. La société s'attend à une croissance encore plus torride de ces dépenses l'année prochaine.