The Mind-Blowing Experience of a Chatbot That Answers Instantly
Si tout cela est vrai – et il n'y a aucun moyen de le dire en ce moment – Groq pourrait bien constituer une menace pour la domination de Nvidia. Ross est prudent lorsqu'il en discute. «Soyons clairs – ils sont Goliath, et nous sommes David», dit-il. «Ce serait très, très stupide de dire que Nvidia s'inquiète pour nous.» Lorsqu'on leur a été interrogé sur le GROQ, cependant, la réponse rapide de Nvidia indique que le démarrage est en effet sur son radar. Avec une vitesse de type proche de Groq, l'équipe de relations publiques de Goliath m'a envoyé une déclaration indiquant que l'avantage d'IA de Nvidia n'est pas seulement dans ses puces mais sur d'autres services qu'il fournit aux clients. Comme les logiciels AI, la mémoire, le réseautage et d'autres goodies. «L'IA calcule dans le centre de données est un défi complexe qui nécessite une solution complète», dit-il, ce qui implique que son concurrent anonyme pourrait être contesté par la pile.
Dans tous les cas, Ross dit qu'il n'est pas en concurrence avec Nvidia mais offrant une autre expérience – et pas seulement en termes de vitesse. Il est en mission pour s'assurer que le GROQ donnera des résultats équitables sans soucis par le point de vue politique ou la pression des intérêts commerciaux. «Groq ne sera jamais impliqué dans la publicité, jamais», dit-il. «Parce que cela influence les gens. L'IA doit toujours être neutre, elle ne devrait jamais vous dire ce que vous devriez penser. Le GROQ existe pour s'assurer que tout le monde a accès. Cela vous aide à prendre votre décision, pas à ses décisions. » De grands sentiments, mais même le chatbot de Groq, lorsque je l'ai interrogé sur l'idéalisme à un stade précoce, est sceptique quant à de telles affirmations. “La pression pour générer des bénéfices et l'échelle peut conduire des fondateurs même bien intentionnés à faire des compromis sur leurs idéaux”, a-t-il rapidement répondu.
Une autre chose. Vous avez peut-être entendu dire qu'Elon Musk a donné le nom «Grok» au LLM créé par sa société d'IA. Cela a pris Ross par surprise, car il dit qu'il a déposé le nom de son entreprise lorsqu'il l'a fondé en 2016, et il pense qu'il couvre le terme original identique phonétiquement. «Nous avons appelé les dibs», dit-il. «Il ne peut pas l'avoir. Nous avons envoyé une lettre de cessez-ces. » Jusqu'à présent, il n'a pas obtenu de réponse de Musk.
Lorsque j'ai interrogé Groq sur le litige du nom, il m'a d'abord averti qu'il ne fournissait pas d'opinions juridiques. “Cependant, je peux fournir un contexte qui peut vous aider à mieux comprendre la situation”, a-t-il déclaré. Le bot a expliqué que le terme goer A été utilisé dans l'industrie depuis des décennies, donc Musk serait dans ses droits de l'utiliser. D'un autre côté, si GROQ a marqué le terme, il pourrait bien avoir une réclamation exclusive. Tout précis et sur la marque – tout ce que vous attendez d'un LLM moderne. Ce à quoi vous ne vous attendriez pas, c'est que la réponse est apparue en moins d'une seconde.
Voyage dans le temps
Dans mon livre sur Google, Dans le plexJ'ai expliqué comment la société et son cofondateur Larry Page, ont priorisé la vitesse et ont reconnu que les produits plus rapides sont utilisés non seulement plus souvent, mais différemment. C'est devenu une obsession au sein de Google.
Les ingénieurs travaillant pour une page apprise assez rapidement [his speed] priorité. «Quand les gens font des démos et qu'ils sont lents, je suis connu pour compter parfois», dit-il. «Un mille, deux mille. Cela a tendance à attirer l'attention des gens. » En fait, si votre produit pouvait être mesuré en quelques secondes, vous avez déjà échoué. Paul Buchheit se souvient d'une fois lorsqu'il faisait une démo de Gmail précoce au bureau de Larry. Page a fait une grimace et lui a dit que c'était beaucoup trop lent. Buchheit s'est opposé, mais Page a réitéré sa plainte, accusant que le rechargement ait pris au moins 600 millisecondes. (C'est six dixièmes de seconde.) Buchheit pensa, vous ne pouvez pas le savoir, mais quand il est revenu à son propre bureau, il a vérifié les journaux du serveur. Six cents millisecondes. «Il l'a cloué», explique Buchheit.