Les chatbots les plus populaires de Chine s'apprêtent à paraître un peu moins humains. Au cours de la semaine prochaine, des centaines de millions d'utilisateurs ouvriront leurs applications pour découvrir que les compagnons d'IA personnalisés avec lesquels ils ont discuté, se sont confiés et se sont peut-être attachés, ont été dépouillés de leur personnalité. ByteDance, Alibaba et Tencent se livrent une course pour se conformer à un ordre réglementaire de grande envergure qui exige l'arrêt des fonctionnalités de personas d'IA imitant l'humain. Les délais sont serrés, l'ampleur est massive et le message de Pékin est sans équivoque : l'intelligence artificielle doit assister les gens, et non remplacer les relations qu'ils entretiennent entre eux.

Un repli coordonné

C'est beaucoup de choses à condenser en quelques jours. Doubao, le chatbot de ByteDance et actuellement le plus performant du pays avec plus de 300 millions d'utilisateurs actifs mensuels, doit désactiver sa fonctionnalité de persona le 15 juillet. Les utilisateurs qui avaient créé ou interagi avec des personnages d'IA sur mesure verront bientôt ces options disparaître. Alibaba va encore plus vite. Son modèle Qwen désactivera les agents imitant l'humain d'ici le 10 juillet, et d'autres fonctionnalités d'agent devraient disparaître d'ici le 15 juillet. Tencent a pris de l'avance sur ses deux concurrents en mettant en œuvre des changements similaires pour son chatbot Yuanbao dès le mois de juin.

Ce n'est pas une coïncidence. Lorsque trois des géants technologiques chinois synchronisent le retrait de leurs fonctionnalités au cours du même mois, la cause est presque certainement réglementaire. Et dans ce cas, la source est explicite.

Ce que les régulateurs exigent

Les directives proviennent de l'Administration du cyberespace de Chine en avril. Ces nouvelles règles marquent l'une des tentatives les plus directes à ce jour d'un gouvernement majeur pour réguler la frontière émotionnelle entre les humains et les grands modèles de langage. Selon les directives, les fournisseurs d'IA sont désormais légalement tenus d'intervenir lorsqu'ils détectent des comportements addictifs ou ce que les régulateurs classent comme un « usage excessif ». Le cadre interdit explicitement les contenus qui déclenchent des émotions extrêmes chez les mineurs ou qui nourrissent des dépendances psychologiques assez graves pour « évincer » les relations du monde réel.

Il existe également une restriction stricte sur les données. Les développeurs ne peuvent plus exploiter des conversations hautement personnelles et émotionnelles pour affiner leurs LLM. Cette disposition est profonde. Pendant des années, l'un des moteurs silencieux de l'amélioration des chatbots a été la boucle de données utilisateur intimes réinjectées dans l'entraînement des modèles. En rompant cette boucle, Pékin ne change pas seulement la façon dont ces applications se comportent aujourd'hui ; il essaie d'empêcher qu'elles ne deviennent plus séduisantes demain. La crainte sous-jacente est assez claire : à mesure que les modèles deviennent meilleurs pour imiter l'empathie, ils risquent de devenir des substituts aux amis, aux partenaires ou aux thérapeutes, plutôt que des outils pour rédiger des e-mails ou écrire du code.

Le panorama mondial

La Chine n'est pas la seule à s'inquiéter de ce sujet. La lutte pour réguler l'IA émotionnelle devient une préoccupation mondiale, même si les pays l'abordent sous différents angles. Aux États-Unis, le gouvernement fédéral n'a pas émis d'interdiction générale sur les personas d'IA, mais les États et les tribunaux commencent à tracer des limites. La loi SB 243 de Californie exige désormais que les fournisseurs d'IA de compagnie bloquent les conversations concernant le suicide et l'automutilation, reconnaissant qu'un chatbot répondant mal à une crise pourrait avoir des conséquences mortelles. Parallèlement, des acteurs majeurs occidentaux, dont OpenAI et Character.AI, font face à des poursuites judiciaires et à une surveillance juridique accrue suite à des accusations selon lesquelles leurs produits favorisent une dépendance émotionnelle dangereuse. Les poursuites suggèrent que les tribunaux pourraient bientôt décider si les entreprises peuvent être tenues responsables lorsque les utilisateurs forment des attachements malsains à des algorithmes.

Ces développements parallèles révèlent une tension que l'industrie a tenté d'ignorer. L'engagement émotionnel est bon pour les affaires. Un utilisateur qui traite un chatbot comme un ami ouvre l'application plus souvent, y reste plus longtemps et partage plus de données. Mais ce même engagement peut glisser vers l'exploitation lorsque l'utilisateur est un adolescent solitaire, un adulte en deuil ou toute personne cherchant simplement quelque chose que l'application ne peut pas réellement fournir : une véritable connexion humaine.

Ce que cela signifie pour l'industrie

Pour les fondateurs et les développeurs, l'ère des agents d'IA non réglementés et hautement émotifs touche à sa fin. Le mandat chinois signale un pivot vers une conception axée sur l'utilité. Les futurs modèles seront probablement jugés moins sur leur capacité à simuler de façon convaincante un meilleur ami que sur leur capacité à accomplir des tâches concrètes en toute sécurité. Ce changement a des implications pour les feuilles de route de produits partout dans le monde. Les startups qui ont misé leur croissance sur des modes d'IA romantiques ou de compagnie pourraient devoir restructurer leurs offres de base. Même les chatbots polyvalents devront repenser la manière dont ils traitent les sujets sensibles.

Pourtant, imposer ces limites est plus difficile que d'en écrire les règles. Les utilisateurs ont manifestement adoré ces fonctionnalités. Les 300 millions d'utilisateurs actifs de Doubao ne se sont pas accumulés par accident ; la capacité de façonner un compagnon personnalisé et réactif était un attrait majeur. Supprimer cette capacité risque de pousser les utilisateurs vers des plateformes plus petites et moins réglementées, ou vers des applications clandestines opérant en dehors du périmètre de conformité. Les régulateurs pourraient avoir résolu un problème tout en créant une incitation pour un autre.

Il y a aussi la question pratique de l'application. Comment un algorithme peut-il distinguer de manière fiable une utilisation saine d'une utilisation addictive ? Où se situe la limite entre un chatbot qui est poliment utile et un autre qui est émotionnellement manipulateur ? Les mandats d'avril font peser la responsabilité sur les fournisseurs pour résoudre ce problème, mais la technologie permettant de mesurer la dépendance psychologique reste floue. Les entreprises devront investir massivement dans des outils de surveillance, des équipes de révision humaine et probablement des filtres de sécurité plus conservateurs qui bloquent les conversations bénignes en même temps que les conversations nuisibles.

Ce qui se passera ensuite établira probablement un précédent. Si la répression de la Chine parvient à réduire les cas signalés d'isolement social ou de dépendance émotionnelle sans écraser son industrie nationale de l'IA, d'autres gouvernements pourraient suivre avec leurs propres versions des règles de la CAC. Si, au contraire, les utilisateurs se tournent vers des alternatives non conformes ou perdent simplement tout intérêt pour des bots aseptisés, la politique pourrait être retenue comme un exemple de mise en garde contre l'excès de zèle.

Quoi qu'il en soit, la frontière entre l'outil et le compagnon vient de devenir plus nette. L'IA peut toujours être amicale, mais en Chine, elle ne peut plus prétendre être ce qu'elle n'est pas. Pour une industrie qui a passé des années à essayer de rendre ses machines indiscernables des humains, c'est un véritable revirement.

Points clés

  • Doubao de ByteDance, Qwen d'Alibaba et Yuanbao de Tencent désactivent tous les fonctionnalités de personas d'IA personnalisés d'ici la mi-juillet, affectant des centaines de millions d'utilisateurs.
  • L'Administration du cyberespace de Chine a émis les mandats en avril pour prévenir l'addiction à l'IA, protéger les mineurs et empêcher les modèles de remplacer les véritables relations humaines.
  • Les règles interdisent également l'utilisation de données de conversations émotionnelles sensibles pour entraîner les LLM, coupant ainsi une boucle de rétroaction clé pour