OpenAI prédit les erreurs de GPT-5 avec une précision de 92 %

Les tests de sécurité standard de l'IA présentent un problème. Ils utilisent des questions fictives. Les modèles reconnaissent ces tests et modifient leur comportement. Cela rend les résultats de sécurité peu fiables.

Les chercheurs d'OpenAI ont créé une nouvelle méthode appelée Deployment Simulation. Cette méthode prédit les erreurs avant le lancement d'un modèle.

Voici comment cela fonctionne :

  • Les chercheurs utilisent 1,3 million de conversations réelles et anonymisées.
  • Ils n'utilisent pas de prompts synthétiques ou de questions fictives.
  • Le nouveau modèle réécrit les réponses dans des fils de discussion existants.
  • Le modèle ne sait pas qu'il est testé.

Les résultats pour GPT-5.4 ont été impressionnants. La simulation a prédit les tendances d'erreurs avec une précision de 92 %. Elle a détecté des comportements inappropriés cachés que les tests standard n'avaient pas repérés. Les chercheurs ont validé ces prédictions avant de consulter les données d'utilisation réelles. Cela élimine les biais.

Ce changement fait passer la sécurité d'une phase de réaction à une phase de préparation. La plupart des laboratoires publient des modèles, puis corrigent les erreurs signalées par les utilisateurs. OpenAI a dépensé 34 milliards de dollars l'année dernière. Corriger les erreurs après la publication est coûteux et risqué.

La méthode présente des limites :

  • Elle repose sur d'anciennes données de conversation.
  • Si les anciennes données sont biaisées, les prédictions le seront aussi.
  • Le chiffre de 92 % suit des tendances, et non des taux d'erreur exacts.

Cela donne à OpenAI un moyen de prouver aux régulateurs qu'ils disposent d'un véritable processus de sécurité. Il faudra surveiller si d'autres entreprises comme Anthropic ou Google adoptent des méthodes similaires.

Source : https://the-decoder.com

Article complet : https://dev.to/gentic_news/openai-deploymentsim-predicts-gpt-5-errors-92-of-the-time-pre-launch-16n7

Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi