Google a fait passer l'une des fonctions d'agents de la Gemini API au stade de la production. Une entrée datée du 30 octobre dans les notes de version de la plateforme précise que l'outil Computer Use est désormais disponible de manière générale aussi bien dans l'API Interactions que dans l'API GenerateContent, un statut par lequel l'entreprise signifie qu'il se prête à des applications réelles et plus seulement à des essais.
Computer Use sert de brique de base aux agents qui manipulent des logiciels par leur interface graphique plutôt que par des API. Le développeur transmet au modèle une tâche, une capture de l'écran en cours et le type d'environnement visé, et le modèle répond par une action proposée, comme un clic, un défilement ou un texte à saisir. Google n'exécute pas ces actions lui-même. C'est le code du développeur qui s'en charge, par exemple avec la bibliothèque d'automatisation Playwright : il convertit en pixels réels les coordonnées normalisées sur une grille de 1000 sur 1000, prend une nouvelle capture et relance la boucle jusqu'à la fin de la tâche.
Le chemin a été long. Google avait présenté une première préversion de Computer Use avec Gemini 2.5 en octobre 2025, étendu l'outil à gemini-3-pro-preview et gemini-3-flash-preview en janvier 2026, puis ouvert en juin 2026 une préversion publique dans Gemini 3.5 Flash, avec la prise en charge du navigateur, du mobile et du poste de travail, l'explication des intentions et les garde-fous actuels. La documentation recense désormais quatre modèles compatibles : Gemini 4 Argon pour les raisonnements les plus complexes, Gemini 3.8 Flash comme choix recommandé, Gemini 3.5 Flash-Lite, plus économique, et Gemini 3 Flash Preview.
Une large part de la documentation porte sur l'encadrement de ces agents. Avec les modèles Gemini 4 et Gemini 3.x, chaque action proposée s'accompagne d'un champ d'intention justifiant ce choix, et un système de sécurité interne peut classer l'étape comme autorisée, soumise à l'accord de l'utilisateur ou bloquée. Les catégories de règles intégrées couvrent les paiements et achats en ligne, la modification de dossiers médicaux, financiers ou administratifs, l'envoi de courriels ou de messages, la création de comptes, la suppression ou le partage de données, les bandeaux de cookies et de confidentialité ainsi que l'acceptation de conditions d'utilisation. Les développeurs peuvent en désactiver certaines, mais Google prévient que le modèle peut malgré tout demander une confirmation. À partir de Gemini 3.5 Flash-Lite, un contrôle facultatif examine chaque capture à la recherche de consignes cachées destinées à détourner l'agent et interrompt l'exécution s'il en détecte ; il reste désactivé tant que le développeur ne l'active pas.
Google ne cache pas non plus les risques qui subsistent. La documentation prévient que l'outil peut comporter des erreurs et des failles de sécurité, conseille une surveillance étroite pour les tâches importantes et déconseille de s'en servir pour des décisions critiques, des données sensibles ou des opérations dont les erreurs seraient irréparables. Elle recommande de faire tourner les agents dans une machine virtuelle ou un conteneur isolé et de repartir d'un état propre pour chaque tâche, et elle permet de retirer des actions prédéfinies au profit de fonctions sur mesure lorsqu'un humain doit garder la main.
Pour l'instant, l'annonce tient en une ligne dans les notes de version et un guide mis à jour ; aucun billet de blog, changement de tarif ni résultat de test de performance ne l'accompagnait le jour même. Pour les équipes qui conçoivent des agents pour navigateur ou poste de travail, le changement concret est qu'une capacité maintenue en préversion pendant près d'un an intègre désormais l'offre officiellement prise en charge par Google, en concurrence directe avec les outils équivalents d'Anthropic et d'OpenAI.