Plus tard dans l'année, Google imprègnera que Gemini vivra avec Projet Astrala technologie de la vision informatique qu'il a taquiné lors de sa conférence de développeur en mai. Cela vous permettra d'utiliser l'application de caméra de votre téléphone et, en temps réel, de demander aux Gémeaux les objets que vous regardez dans le monde réel. Imaginez passer devant une affiche de concert et lui demander de stocker les dates de votre calendrier et de mettre en place un rappel pour acheter des billets.

Parle moi

Nos expériences utilisant des assistants vocaux jusqu'à ce point ont été largement transactionnelles, donc quand j'ai discuté avec Gemini Live, j'ai trouvé le lancement d'une conversation avec le bot pour être un peu gênant. C'est un grand pas au-delà de demander à Google Assistant ou Alexa le rapport météo, pour ouvrir vos stores ou si votre chien peut manger du céleri. Vous pourriez avoir un suivi ici et là, mais il n'a pas été construit autour du flux d'une conversation comme l'était Gemini en direct.

Hsiao me dit qu'elle aime utiliser Gemini en direct dans la voiture sur son retour du travail. Elle a entamé une conversation sur les Jeux olympiques de Paris et sur le chant de Celine Dion lors de la cérémonie d'ouverture. «Pouvez-vous me parler un peu de la chanson qu'elle a chantée?» Demanda Hsiao. L'IA a répondu avec l'origine de la chanson, l'écrivain et ce qu'elle signifiait, et après quelques allers-retours, Hsiao a découvert que Céline Dion pouvait chanter en chinois.

«J'ai été tellement surprise», dit-elle. »Mais cela vous donne juste un exemple de la façon dont vous pouvez découvrir des choses; C'est une interaction avec la technologie que les gens ne pouvaient pas avoir avant ce genre de curiosité et d'exploration par la conversation. Ce n'est que le début de l'endroit où nous nous dirigeons avec l'assistant Gémeaux. »

Dans ma démo, j'ai demandé à Gemini ce que je devais manger pour le dîner. Il m'a demandé si je voulais quelque chose de léger et de rafraîchissant ou un repas copieux. Nous avons continué, d'avant en arrière, et lorsque les Gémeaux ont suggéré un plat de crevettes, j'ai menti et j'ai dit que j'étais allergique aux crevettes, à laquelle il a ensuite recommandé du saumon. J'ai dit que je n'avais pas de saumon. «Vous pouvez toujours faire griller des poitrines de poulet et les jeter dans une salade avec une salade grillée et une vinaigrette légère de vinaigrette.» J'ai demandé une recette et cela a commencé à passer par les instructions étape par étape. Je l'ai interrompu, mais je peux retourner dans l'application Gemini pour trouver la recette plus tard.