Jusqu’ici, vous demandiez à une IA comment remplir un formulaire, rechercher une information ou mettre à jour un logiciel. Avec le Computer Use, elle peut désormais regarder l’écran, déplacer la souris, cliquer, saisir du texte et réaliser elle-même une partie de ces opérations. Bref, l’IA ne vous explique plus seulement où cliquer : elle clique. Et, forcément, cela change quelques petites choses. 🤖🖱️
Le terme Computer Use, que l’on peut traduire par « utilisation de l’ordinateur par l’IA », désigne une capacité permettant à un modèle d’IA de voir une interface graphique et d’agir dessus comme le ferait un utilisateur humain. Le concept a commencé à se démocratiser lorsque l’américain Anthropic a ouvert Computer Use avec Claude 3.5 Sonnet le 22 octobre 2024, avant qu’OpenAI ne présente son Computer-Using Agent en janvier 2025. Depuis, Google l’a intégré nativement à Gemini 3.5 Flash en juin 2026 et Microsoft a rendu les agents utilisant un ordinateur disponibles dans Copilot Studio en mai 2026. En août 2026, la technologie concerne aussi bien les navigateurs que certaines applications de bureau et environnements mobiles. Sa tarification dépend fortement des plateformes : Microsoft, par exemple, facture actuellement une étape de Computer Use 5 crédits Copilot avec un modèle standard et 15 avec un modèle Premium.
La réponse courte ? Le Computer Use transforme une IA qui « sait quoi faire » en une IA capable, dans certaines limites, de faire réellement la manipulation à votre place.
🖥️ Computer Use : qu’est-ce que c’est exactement ?
Imaginez que vous recrutiez une personne qui ne dispose d’aucun accès particulier à votre logiciel de gestion.
Vous lui dites : « Ouvre le portail fournisseur, récupère le numéro de commande dans ce PDF, recherche le dossier correspondant et renseigne les trois champs du formulaire. Ne valide rien sans me demander. »
Un humain regarde l’écran, repère les boutons, clique, ouvre le PDF, copie les informations et remplit le formulaire.
Le Computer Use tente de faire la même chose. L’IA reçoit une représentation visuelle de l’écran, comprend ce qui est affiché, décide de l’action suivante puis commande une souris et un clavier virtuels.
Les outils actuels peuvent notamment :
- prendre une capture d’écran
- repérer des boutons, menus et champs
- cliquer
- faire défiler une page
- utiliser le clavier et saisir du texte
- utiliser certains raccourcis
- passer d’une fenêtre à une autre
- remplir des formulaires
- naviguer dans un site ou une application.
La documentation actuelle de Claude décrit par exemple un ensemble d’outils de capture d’écran, clic, saisie, zoom et contrôle du clavier. Chez Gemini, le modèle peut désormais « voir, raisonner et agir » dans des environnements navigateur, mobile et desktop.
👀 Comment une IA peut-elle « utiliser » un ordinateur ?
Le mécanisme repose généralement sur une boucle.
1. Vous lui donnez un objectif
Il ne s’agit plus seulement d’un prompt produisant du texte. C’est une mission à exécuter.
2. L’IA regarde l’écran
L’environnement lui transmet une capture ou une représentation de l’interface.
Le modèle identifie :
- où se trouve le navigateur
- quels boutons sont visibles
- quels champs peuvent être remplis
- quelle information semble correspondre à la tâche.
3. Elle choisit une action
Par exemple :
clic → champ de recherche → saisie du numéro → Entrée
4. L’environnement exécute cette action
La souris ou le clavier virtuel agit réellement.
5. L’IA regarde le nouvel écran
Elle vérifie le résultat obtenu et décide de la suite.
6. La boucle recommence
On obtient donc :
Observer → comprendre → agir → observer le résultat → corriger → continuer
C’est une application très concrète des boucles agentiques que nous avons déjà expliquées sur IA Pratique.
Ma règle pratique pour l’entreprise
Lorsque plusieurs options existent, je privilégierais généralement :
API ou connecteur métier → MCP / outil structuré → Computer Use
Le Computer Use devient particulièrement intéressant lorsque l’interface graphique est le seul moyen réaliste d’effectuer l’opération. Inutile de demander à une IA de jouer du piano avec une souris lorsque le logiciel lui offre directement le clavier.
📈 Les progrès ont été extrêmement rapides
Les benchmarks permettent de mesurer le chemin parcouru, mais il faut les manipuler avec précaution. Lors de la présentation de Claude Computer Use en octobre 2024, Anthropic rapportait 14,9 % de réussite sur OSWorld dans une configuration basée sur des captures d’écran.
En septembre 2025, Claude Sonnet 4.5 atteignait 61,4 % sur OSWorld selon Anthropic. En mars 2026, OpenAI annonçait 75 % sur OSWorld-Verified pour GPT-5.4, contre 72,4 % pour la référence humaine utilisée dans cette évaluation. En juillet 2026, GPT-5.6 Sol affichait 62,6 % sur OSWorld 2.0.
Attention : 62,6 % n’est pas une régression par rapport aux 75 % précédents. OSWorld 2.0 et OSWorld-Verified ne sont pas exactement la même évaluation.
C’est justement une bonne leçon lorsque vous lisez des tableaux de benchmarks IA : comparer deux pourcentages provenant de protocoles différents peut rapidement produire un joli graphique… et une mauvaise conclusion.
Qui propose du Computer Use en 2026 ?
| Acteur | Solution actuelle | Environnement | Situation en août 2026 |
|---|---|---|---|
| OpenAI | GPT-5.6, ChatGPT Agent / Work, API | Web, outils, desktop selon environnement | Déployé sur plusieurs offres |
| Anthropic | Claude Computer Use | Desktop et navigateur via API | Nouvelle version GA côté Claude API |
| Gemini 3.5 Flash Computer Use | Web, mobile, desktop | Intégré nativement depuis juin 2026 | |
| Microsoft | Copilot Studio Computer Use | Web et applications Windows | Disponibilité générale depuis mai 2026 |
OpenAI a par ailleurs intégré les fonctions de son ancien produit Operator au mode Agent de ChatGPT : Operator n’existe donc plus comme service séparé.
Chez Anthropic, l’évolution est tout aussi révélatrice : ce qui était encore présenté comme expérimental fin 2024 est désormais documenté comme generally available dans l’API Claude avec le nouveau toolset Computer Use.
Chez Microsoft, la disponibilité générale dans Copilot Studio a été annoncée en mai 2026 et étendue aux géographies commerciales de Power Platform.
⚠️ Le principal problème : l’IA peut vraiment agir
Avec un chatbot classique, une erreur produit généralement… une mauvaise réponse.
Avec un agent capable d’utiliser un ordinateur, une erreur peut produire :
- un formulaire mal renseigné
- un fichier écrasé
- un message envoyé au mauvais destinataire
- une donnée modifiée
- une commande validée
- un accès involontaire à une information sensible
Voilà pourquoi le Human in the Loop devient essentiel. /HumanInTheLoop
🧨 Et voici l’autre problème : la prompt injection
OpenAI présente toujours en 2026 la prompt injection comme un défi de sécurité important pour les agents. Google propose de son côté des mécanismes permettant d’arrêter une tâche lorsqu’une injection indirecte est détectée et d’imposer une confirmation explicite avant certaines opérations.
La bonne pratique est donc claire : un agent ne doit jamais disposer de davantage de droits que ceux strictement nécessaires à sa mission.
🇫🇷 Et en France ? La CNIL commence justement à s’en préoccuper
Le sujet est devenu suffisamment concret pour que la CNIL et le Conseil de l’IA et du Numérique publient, le 20 juillet 2026, une note consacrée à l’IA agentique et aux données personnelles.
Elle estime que cette multiplication des traitements peut créer un risque de perte de maîtrise des données personnelles et rappelle que les principes du RGPD restent applicables. Pour une PME française, le Computer Use doit donc être traité comme un véritable accès au système d’information, pas comme une sympathique option de chatbot.
Computer Use va surtout s’attaquer aux vieux logiciels
C’est peut-être le point le plus intéressant pour les PME et ETI.
Une grande partie des entreprises utilise encore :
- des ERP anciens
- des extranets
- des logiciels propriétaires
- des portails fournisseurs
- des applications métiers internes
- des interfaces sans API moderne.
Les connecter proprement à un système agentique peut demander plusieurs semaines de développement. Computer Use propose une autre voie : si l’humain peut utiliser l’interface, l’agent peut potentiellement apprendre à l’utiliser lui aussi. Microsoft formule d’ailleurs explicitement cette promesse dans sa documentation. Cela ne signifie pas qu’il faille remplacer toutes les intégrations par des clics pilotés par IA. Cela signifie que des logiciels jusque-là très difficiles à automatiser deviennent potentiellement accessibles aux agents.
Et cela pourrait être le principal intérêt du Computer Use en entreprise.
En savoir plus
- Le Concept IA : le MCP, le chaînon manquant entre vos outils et l’IA
- Boucles IA : automatiser sans perdre le contrôle ni exploser son budget
- ChatGPT Work en entreprise : 7 contrôles à activer avant de connecter vos outils
- L’entreprise autonome arrive : agents IA, clients machines et opérations sans friction
- Tous les Concepts IA
- Computer Use avec Gemini 3.5 Flash – Google DeepMind
- Documentation Computer Use de Claude – Anthropic
- Computer-Using Agent – OpenAI
- Computer Use dans Microsoft Copilot Studio
- IA agentique et données personnelles – CNIL, juillet 2026
#ComputerUse #AgentsIA #IntelligenceArtificielle #Automatisation #PME #ETI #Claude #Gemini #OpenAI #Copilot #MCP #IAAgentique
