To Build a Better AI Supercomputer, Let There Be Light

GlobalFoundries, une entreprise qui fabrique des puces pour d'autres, dont AMD et General Motors, ont précédemment annoncé un partenariat avec LightMatter. Harris dit que son entreprise «travaille avec les plus grandes sociétés de semi-conducteurs au monde ainsi que les hyperscalers», faisant référence aux plus grandes sociétés cloud comme Microsoft, Amazon et Google.

Si Lightmatter ou une autre entreprise peut réinventer le câblage des projets d'IA géants, un goulot d'étranglement clé dans le développement d'algorithmes plus intelligents pourrait tomber. L'utilisation de plus de calculs a été fondamentale pour les progrès qui ont conduit à Chatgpt, et de nombreux chercheurs d'IA considèrent que la mise à l'échelle du matériel est cruciale pour les avancées futures dans le domaine – et dans l'espoir d'atteindre l'objectif vaguement spécifié de l'artificiel Intelligence générale, ou AGI, signifiant des programmes qui peuvent faire correspondre ou dépasser l'intelligence biologique de toutes les manières.

Lier un million de puces avec la lumière pourrait permettre des algorithmes plusieurs générations au-delà de la pointe d'aujourd'hui, explique le PDG de Lightmatter, Nick Harris. “Le passage va permettre des algorithmes AGI”, suggère-t-il avec confiance.

Les grands centres de données nécessaires pour former des algorithmes d'IA géants se composent généralement de racks remplis de dizaines de milliers d'ordinateurs exécutant des puces de silicium spécialisées et un spaghetti de connexions principalement électriques entre eux. Le maintien de l'entraînement entre l'IA sur tant de systèmes – tous connectés par des fils et des commutateurs – est une énorme entreprise d'ingénierie. La conversion entre les signaux électroniques et optiques impose également des limites fondamentales sur les capacités des puces à exécuter des calculs en un seul.

L'approche de Lightmatter est conçue pour simplifier le trafic délicat à l'intérieur des centres de données AI. «Normalement, vous avez un tas de GPU, puis une couche de commutateurs, et une couche de commutateurs, et une couche de commutateurs, et vous devez traverser cet arbre» ​​pour communiquer entre deux GPU, dit Harris. Dans un centre de données connecté par Passage, Harris dit, chaque GPU aurait une connexion à grande vitesse à toutes les autres puces.

Le travail de Lightmatter sur le passage est un exemple de la façon dont la récente épanouissement de l'IA a inspiré les entreprises grandes et petites pour essayer de réinventer le matériel clé derrière les avancées comme le chatppt d'Openai. Nvidia, le principal fournisseur de GPU pour les projets d'IA, a tenu sa conférence annuelle le mois dernier, où le PDG Jensen Huang a dévoilé la dernière puce de la société pour la formation AI: un GPU appelé Blackwell. Nvidia vendra le GPU dans une «superchip» composée de deux GPU Blackwell et d'un processeur CPU conventionnel, tous connectés en utilisant la nouvelle technologie de communication à grande vitesse de l'entreprise appelée Nvlink-c2c.

L'industrie des puces est célèbre pour trouver des moyens d'atteindre plus de puissance de calcul des puces sans les agrandir, mais Nvidia a choisi de renverser cette tendance. Les GPU Blackwell à l'intérieur de la Superchip de l'entreprise sont deux fois plus puissants que leurs prédécesseurs mais sont fabriqués en boullant deux puces ensemble, ce qui signifie qu'ils consomment beaucoup plus de puissance. Ce compromis, en plus des efforts de Nvidia pour coller ses jetons avec des liens à grande vitesse, suggère que les mises à niveau vers d'autres composants clés pour les supercalculateurs d'IA, comme celle proposée par Lightmatter, pourraient devenir plus importantes.