Quand Google Lens a été introduit en 2017, la fonction de recherche a accompli un exploit qui, il n'y a pas si longtemps, aurait semblé relever de la science-fiction : pointez l'appareil photo de votre téléphone vers un objet et Google Lens peut l'identifier, afficher un contexte, peut-être même vous permettre de le faire. achète-le. C'était une nouvelle façon de chercher, qui n'impliquait pas de taper maladroitement des descriptions de choses que vous voyiez devant vous.

Lens a également démontré comment Google prévoyait d'utiliser ses outils d'apprentissage automatique et d'IA pour garantir que son moteur de recherche apparaisse sur toutes les surfaces possibles. Alors que Google utilise de plus en plus ses modèles fondamentaux d'IA générative pour générer des résumés d'informations en réponse aux recherches textuelles, la recherche visuelle de Google Lens a également évolué. Et maintenant, la société affirme que Lens, qui effectue environ 20 milliards de recherches par mois, va prendre en charge encore plus de moyens de recherche, y compris les recherches vidéo et multimodales.

Une autre modification apportée à Lens signifie qu'encore plus de contexte pour les achats apparaîtra dans les résultats. Sans surprise, le shopping est l’un des principaux cas d’utilisation de Lens ; Amazon et Pinterest disposent également d'outils de recherche visuelle conçus pour stimuler davantage d'achats. Recherchez les baskets de votre ami dans l’ancien Google Lens et vous aurez peut-être vu un carrousel d’articles similaires. Dans la version mise à jour de Lens, Google indique qu'il affichera des liens plus directs pour les achats, les avis des clients, les avis des éditeurs et les outils d'achat comparatifs.

La recherche par objectif est désormais multimodale, un mot brûlant dans l'IA de nos jours, ce qui signifie que les gens peuvent désormais effectuer une recherche avec une combinaison de vidéos, d'images et d'entrées vocales. Au lieu de pointer l'appareil photo de leur smartphone vers un objet, d'appuyer sur le point AF sur l'écran et d'attendre que l'application Lens affiche les résultats, les utilisateurs peuvent pointer l'objectif et utiliser des commandes vocales en même temps, par exemple : « Quel genre de c’est ça les nuages ​​? ou “De quelle marque de baskets s'agit-il et où puis-je les acheter ?”

Lens commencera également à travailler sur la capture vidéo en temps réel, faisant ainsi passer l'outil au-delà de l'identification d'objets dans des images fixes. Si vous avez un tourne-disque cassé ou voyez une lumière clignotante sur un appareil défectueux à la maison, vous pouvez prendre une vidéo rapide via Lens et, grâce à un aperçu génératif de l'IA, voir des conseils sur la façon de réparer l'article.

Annoncée pour la première fois lors d'I/O, cette fonctionnalité est considérée comme expérimentale et n'est disponible que pour les personnes ayant choisi de participer aux laboratoires de recherche de Google, explique Rajan Patel, Googler depuis 18 ans et cofondateur de Lens. Les autres fonctionnalités de Google Lens, le mode vocal et les achats étendus, sont déployées plus largement.

La fonctionnalité « compréhension vidéo », comme l'appelle Google, est intrigante pour plusieurs raisons. Bien qu'il fonctionne actuellement avec des vidéos capturées en temps réel, si ou quand Google l'étend aux vidéos capturées, des référentiels entiers de vidéos, que ce soit dans la pellicule d'une personne ou dans une base de données gargantuesque comme Google, pourraient potentiellement devenir étiquetables et massivement achetables.

La deuxième considération est que cette fonctionnalité Lens partage certaines caractéristiques avec le projet Astra de Google, qui devrait être disponible plus tard cette année. Astra, comme Lens, utilise des entrées multimodales pour interpréter le monde qui vous entoure via votre téléphone. Dans le cadre d'une démonstration Astra ce printemps, la société a présenté une paire de prototypes de lunettes intelligentes.

Par ailleurs, Meta vient de faire sensation avec sa vision à long terme de notre avenir de réalité augmentée, qui implique de simples mortels portant des lunettes idiotes capables d'interpréter intelligemment le monde qui les entoure et de leur montrer des interfaces holographiques. Google, bien sûr, a déjà tenté de réaliser cet avenir avec Google Glass (qui utilise une technologie fondamentalement différente de celle du dernier pitch de Meta). Les nouvelles fonctionnalités de Lens, associées à Astra, sont-elles une transition naturelle vers un nouveau type de lunettes intelligentes ?