Votre smartphone se met à cliquer à votre place : Gemini automatise Uber et la livraison via une fenêtre virtuelle

Google active en bêta une fonction d’automatisation dans Gemini : l’assistant ouvre vos apps (VTC, livraison) dans une fenêtre virtuelle, exécute les étapes, puis vous demande de valider. Le téléphone “agit”, et ça change la relation au contrôle.

On nous promet des assistants capables de réserver, commander, organiser, sans friction. Cette fois, ce n’est plus une démo : on voit Gemini naviguer dans une appli comme un humain. Sur un Galaxy S26 Ultra, l’assistant remplit des champs, fait défiler des menus, choisit des options. Et il s’arrête juste avant le clic final, comme pour rappeler : vous restez responsable.

Une IA qui n’écrit plus, elle agit

Jusqu’ici, les assistants savaient surtout produire du texte : un résumé, un e-mail, un plan. L’automatisation change de catégorie. Gemini ne se contente plus d’expliquer comment commander un VTC, il le fait dans une fenêtre dédiée, en manipulant l’interface. Pour l’utilisateur, l’effet est immédiat : on a l’impression de regarder son smartphone “se servir lui-même”. C’est le passage de l’IA conversationnelle à l’IA opérationnelle. Ce basculement a un coût psychologique : la confiance. Quand une IA remplit des champs, la question n’est plus “est-ce que c’est vrai ?” mais “est-ce que ça clique au bon endroit ?”. Le progrès est réel, mais il déplace le risque : une erreur de commande, ce n’est pas une faute de grammaire, c’est un trajet ou un achat.

La fenêtre virtuelle, le garde-fou qui révèle la stratégie

Google a choisi une mise en scène très parlante : Gemini agit dans une fenêtre virtuelle, visible, que vous pouvez interrompre. Vous regardez, vous stoppez, vous reprenez la main. C’est moins magique qu’un “tout automatique”, mais c’est plus sain. Le produit est conçu pour éviter deux problèmes : la perte de contrôle et la peur du “mode autopilote”. Dans les exemples de test, Gemini demande d’abord les précisions indispensables. “Quel aéroport ?” n’est pas une coquetterie, c’est une protection. Ensuite, l’IA enchaîne des étapes simples, puis s’arrête avant la validation. Cette règle du “dernier clic humain” est une frontière juridique et pratique : elle maintient l’utilisateur comme décideur et limite les accidents.

Commander un Uber, puis un café : là où l’IA montre ses limites

Sur un trajet VTC, l’interface est relativement structurée : une destination, quelques options, une validation. Gemini y paraît fluide. L’assistant peut même ignorer des détails non critiques, comme le choix d’une compagnie aérienne quand cela n’a pas d’impact local. Mais dès qu’on passe à une commande de café et de viennoiserie, l’IA doit naviguer dans des menus plus “humains” : des catégories, des variantes, des choix implicites. Et là, on voit la réalité : beaucoup de défilement, des hésitations, et des décisions qui demandent du contexte. Faut-il chauffer le croissant ? L’IA peut deviner, parfois juste, parfois non. C’est précisément ce type de micro-choix qui fait la différence entre un assistant utile et un assistant intrusif. L’automatisation ne supprime pas la friction, elle la déplace : de votre doigt vers un temps d’attente pendant que Gemini explore.

Pourquoi ça arrive maintenant, et pourquoi ça vise d’abord la mobilité

Google et Samsung ont présenté cette automatisation comme une fonction “sur les nouveaux appareils”, avec un déploiement qui commence par la livraison de repas et le VTC. Ce choix n’est pas innocent : ce sont des tâches répétitives, fréquentes, et monétisables. Si l’IA réduit de 30 secondes votre effort, vous la réutilisez. Et si vous la réutilisez, vous restez dans l’écosystème. Il y a aussi une raison technique : les apps de mobilité ont des flux relativement standardisés. Elles offrent des écrans structurés, des boutons clairs, des formulaires. Pour une IA, c’est un terrain d’entraînement plus propre qu’un réseau social ou qu’une appli bancaire. Le produit avance par étapes, en ciblant des scénarios où la valeur est immédiate et le risque encore maîtrisable.

Les questions qui fâchent : confiance, erreurs et vie privée

Regarder une IA faire défiler un menu est amusant. Lui confier une commande répétée tous les jours l’est beaucoup moins, parce que les erreurs coûtent. Un mauvais créneau, une mauvaise adresse, une option oubliée, et l’IA devient un générateur de stress. Google tente d’absorber ce risque avec des questions de clarification et une validation finale. Mais il reste un point sensible : l’IA doit “voir” l’interface et comprendre des états. Côté vie privée, le fait que Gemini opère dans une fenêtre virtuelle peut rassurer : on sait quand l’automatisation est active. Mais le sujet ne disparaît pas : l’assistant manipule des apps qui contiennent des données personnelles, des adresses, des habitudes. La confiance se joue sur la transparence : qu’est-ce qui est traité localement, qu’est-ce qui part au cloud, et quels logs subsistent. L’automatisation rend ces questions plus pressantes.

Ce que ça change pour les développeurs et les plateformes

Pour les éditeurs d’apps, une IA qui pilote l’interface est à la fois une opportunité et une menace. Opportunité, parce que l’IA peut réduire la friction et augmenter le taux de conversion. Menace, parce qu’elle interpose un “agent” entre l’app et l’utilisateur. Si demain l’IA choisit un service plutôt qu’un autre, elle devient un distributeur de trafic. C’est aussi pour cela que les plateformes encadrent le lancement : beta, apps ciblées, expérience visible, contrôle utilisateur. On construit une forme de “standard” : des interfaces lisibles par agents, des étapes validables, des écrans plus prédictibles. En clair, l’IA pousse les apps vers plus de structure, et ce mouvement peut remodeler le design mobile.

Comment l’utiliser sans se faire piéger

L’automatisation peut gagner du temps, à condition de la traiter comme un copilote. Trois règles simples limitent les mauvaises surprises : toujours vérifier l’adresse et le montant avant validation, éviter l’automatisation quand on est pressé, et privilégier les tâches répétitives plutôt que les commandes complexes. Le meilleur usage ressemble à un raccourci, pas à une délégation totale.