OpenAI Codex dévoile Record & Replay pour automatiser des flux de travail complexes
OpenAI a introduit une fonctionnalité transformative, « Record & Replay », pour son application Codex sur macOS, marquant une avancée significative dans les capacités des agents autonomes. En observant un utilisateur effectuer une séquence manuelle, l'IA peut désormais convertir les actions humaines en compétences numériques permanentes et réutilisables.
De l'observation à l'automatisation : comment fonctionne Record & Replay
L'innovation majeure de la dernière mise à jour de Codex est la capacité de transformer des flux de travail d'une seule session en automatisations répétables. Au lieu de rédiger des scripts ou des prompts complexes pour décrire un processus, les utilisateurs peuvent simplement « guider » l'agent IA à travers une tâche spécifique. Par exemple, un utilisateur pourrait démontrer l'intégralité du processus de mise en ligne d'une vidéo YouTube — incluant l'ajout de métadonnées, la sélection d'une miniature et le téléchargement de sous-titres.
Une fois la démonstration terminée, Codex encode ces actions sous forme de « compétence » (skill). L'agent peut ensuite exécuter l'intégralité de cette séquence de manière indépendante à l'avenir. Cela fait passer l'interaction avec l'IA de simples instructions par chat vers un véritable « Computer Use », où le modèle interagit avec le système d'exploitation et les interfaces d'application tout comme un humain le ferait.
Améliorations techniques et mises à jour de la version 26.616
Au-delà de la fonctionnalité Record & Replay, la version 26.616 introduit des mises à jour d'infrastructure critiques conçues pour les utilisateurs experts et les développeurs. De nouvelles actions groupées pour l'historique des automatisations permettent une meilleure gestion des tâches enregistrées précédemment, tandis qu'une capacité sophistiquée de « hand-off » a été implémentée. Cela permet aux utilisateurs de transférer des threads actifs entre une machine locale et un hôte distant, permettant la poursuite fluide de tâches complexes sur du matériel connecté.
Pour utiliser ces fonctionnalités d'automatisation avancées, les utilisateurs doivent avoir activé le « Computer Use ». Bien que Codex soit gratuit au téléchargement, le raisonnement de haut niveau requis pour exécuter ces flux de travail nécessite un compte ChatGPT payant.
Disponibilité régionale et paysage global de l'IA
Le déploiement de ces fonctionnalités fait face à certaines contraintes géographiques. Actuellement, Record & Replay est indisponible au Royaume-Uni, en Suisse et dans l'UE. Cependant, la capacité fondamentale « Computer Use » est accessible dans l'UE depuis le 16 juin, préparant le terrain pour une parité future des fonctionnalités.
Ce développement marque un tournant décisif pour l'industrie de l'IA. Nous assistons à une transition où les LLM ne sont plus de simples « moteurs de connaissances », mais deviennent des « moteurs d'action ». En maîtrisant la capacité d'observer et de reproduire des tâches basées sur des interfaces graphiques (GUI), Codex positionne OpenAI pour dominer le domaine de l'automatisation du travail intellectuel, transformant ainsi le système d'exploitation de bureau en un environnement régi par des agents intelligents plutôt que par des clics manuels.
Points clés
- Mimétisme comportemental : La nouvelle fonctionnalité Record & Replay permet à Codex de convertir une simple démonstration manuelle en une compétence d'automatisation réutilisable.
- Gestion avancée des flux de travail : La version 26.616 introduit le transfert de threads entre hôtes locaux et distants ainsi qu'une gestion groupée améliorée de l'historique d'automatisation.
- Évolution agentique : Cette avancée marque la transition d'une assistance IA textuelle vers des agents autonomes de « Computer Use » capables de naviguer dans des interfaces logicielles complexes.