Google veut transformer l’un des éléments les plus fondamentaux de l’informatique personnelle : le curseur de la souris. Son nouveau pari combine intelligence artificielle (IA) et reconnaissance contextuelle, afin que le pointeur comprenne des références telles que « ceci » ou « cela » et aide à exécuter des tâches sans quitter le flux de travail.
Le géant de l’informatique Google veut apporter l’intelligence artificielle à l’un des symboles de la révolution de l’informatique domestique et professionnelle : le curseur de la souris. L’entreprise, à travers sa division Google DeepMind, a présenté une ligne de recherche qui cherche à transformer la flèche traditionnelle en un pointeur « contextuel », capable de comprendre non seulement où l’utilisateur pointe, mais aussi ce qu’il essaie de faire.
À la recherche d’une interaction plus fluide avec l’IA
Comme le rapporte The Register, la société décrit cette initiative comme l’une des premières révisions en profondeur du curseur depuis plus d’un demi-siècle. L’idée est que la plupart des outils d’IA se trouvent dans une fenêtre séparée, vous obligeant à copier, coller ou faire glisser le contenu avant d’obtenir de l’aide.
Google propose d’inverser cette logique. Au lieu de déplacer le travail vers le chatbot, l’assistant doit apparaître dans le flux d’utilisation normal, sans rompre la continuité entre les applications, les documents et les pages Web. Pour l’entreprise, ce changement pourrait rendre l’interaction avec l’IA plus naturelle, qui ne dépendrait plus de invites longues et explicites (déclarations avec instructions pour l’IA).
Selon une publication de Google, le système expérimental combine Gemini avec un pointeur qui fonctionne avec le microphone de l’appareil. Ainsi, pendant que l’utilisateur pointe un élément à l’écran, il peut aussi parler de « ceci » ou de « cela », et l’IA interprète la référence en fonction de la position du curseur et du contenu visible.
Dans une démonstration, un utilisateur a pu placer le pointeur sur un crabe sur une page et dire « déplacez ceci ici » : avec cette simple indication, le système a compris le contexte nécessaire pour exécuter l’action. Google a présenté ce comportement comme un moyen de réduire les frictions entre l’intention humaine et la réponse informatique.
Les quatre bases du « curseur du futur »
Le projet est soutenu par quatre principes de conception. La première consiste à « maintenir le flux » : l’IA doit fonctionner au sein de n’importe quelle application, et non dans un environnement séparé. La seconde est « show and tell », c’est-à-dire laisser l’utilisateur pointer du doigt au lieu d’écrire des instructions trop détaillées.
La troisième cherche à ce que l’ordinateur et l’IA comblent les lacunes sémantiques que nous résolvons dans les conversations quotidiennes avec des gestes ou des pronoms. Enfin, la quatrième vise à transformer les pixels en entités dynamiques, comme transformer une note manuscrite en liste de choses à faire ou une image statique en lien utile.
L’entreprise commence déjà à traduire ces idées en produits : la fonction, appelée Magic Pointer, arrivera bientôt sur la nouvelle plateforme pour ordinateur portable Googlebook, récemment lancée, et Gemini dans Chrome permettra de consulter des parties spécifiques d’une page Web d’un simple geste du curseur.
De plus, des démonstrations expérimentales d’AI Pointer sont désormais disponibles dans Google AI Studio, où les interactions de pointer-et-parler avec la carte et l’édition d’images peuvent être testées. Google prévoit également de continuer à tester le concept sur d’autres plateformes au sein de Google Labs.