Malgré la sauvage Succès de Chatgpt et d'autres modèles de grande langue, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise piste.

D'une part, les ann sont «super avides de pouvoir», a déclaré Cornelia Fermüllerinformaticien de l'Université du Maryland. «Et l'autre problème est [their] manque de transparence. » De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien.

De telles lacunes découlent probablement de la structure actuelle des ANN et de leurs éléments constitutifs: les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les ANN modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des ANN ont longtemps été évidentes. Considérez, par exemple, une Ann qui raconte les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, qui indique un cercle et un qui indique un carré. Si vous voulez que votre Ann discerne également la couleur de la forme – parlez, bleu ou rouge – vous aurez besoin de quatre neurones de sortie: un chacun pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de caractéristiques signifient encore plus de neurones.

Cela ne peut pas être ainsi que nos cerveaux perçoivent le monde naturel, avec toutes ses variations. “Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons”, a déclaré Bruno Olshausenneuroscientifique à l'Université de Californie à Berkeley. «Alors, tu aurais dans ton cerveau, [say,] un détecteur de Volkswagen violet. »

Au lieu de cela, olshausen et autres soutiennent que les informations dans le cerveau sont représentées par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme des actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

Il s'agit du point de départ d'une approche radicalement différente du calcul, appelée informatique hyperdimensionnelle. La clé est que chaque élément d'information, tel que la notion de voiture ou sa marque, son modèle ou sa couleur, ou la totalité, est représentée comme une seule entité: un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau de nombres ordonné. Un vecteur 3D, par exemple, comprend trois nombres: le x, y, et z Coordonnées d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 chiffres, par exemple, représentant un point dans un espace de 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour prendre l'informatique moderne au-delà de certaines de ses limites actuelles et pour favoriser une nouvelle approche de l'intelligence artificielle.

“C'est la chose qui me passionne le plus, pratiquement dans toute ma carrière”, a déclaré Olshausen. Pour lui et bien d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste et les décisions faites en machine sont entièrement transparentes.

Entrez des espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Tout d'abord, nous avons besoin de vecteurs pour représenter la forme et la couleur des variables. Ensuite, nous avons également besoin de vecteurs pour les valeurs qui peuvent être affectées aux variables: cercle, carré, bleu et rouge.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il y a trois vecteurs qui sont orthogonaux les uns aux autres: un dans le x direction, un autre dans le y, et un troisième dans le z. Dans un espace de 10 000 dimensions, il y a 10 000 vecteurs mutuellement orthogonaux.