China’s most popular chatbots are about to feel a little less human. Over the next week, hundreds of millions of users will open their apps to find that the custom AI companions they have been texting, confiding in, and perhaps growing attached to have been stripped of their personalities. ByteDance, Alibaba, and Tencent are racing to comply with a sweeping regulatory order that demands the shutdown of humanlike AI persona features. The deadlines are tight, the scale is massive, and the message from Beijing is unmistakable: artificial intelligence should assist people, not replace the relationships they have with each other.

A Coordinated Retreat

That is a lot to cram into a few days. Doubao, ByteDance’s chatbot and currently the country’s most successful with over 300 million monthly active users, is scheduled to take its persona feature offline on July 15. Users who had created or interacted with bespoke AI characters will soon find those options gone. Alibaba is moving even faster. Its Qwen model will disable human-like agents by July 10, with additional agent features set to go dark by July 15. Tencent got ahead of both competitors, implementing similar changes to its Yuanbao chatbot back in June.

This is not a coincidence. When three of China’s tech giants synchronize their product rollbacks within the same month, the cause is almost certainly regulatory. And in this case, the source is explicit.

What the Regulators Demand

The directives came from China’s Cyberspace Administration in April. The new rules mark one of the most direct attempts yet by a major government to police the emotional boundary between humans and large language models. Under the guidelines, AI providers are now legally required to step in when they detect addictive behaviors or what regulators classify as “excessive use.” The framework explicitly prohibits content that triggers extreme emotions in minors or nurtures psychological dependencies severe enough to “crowd out” real-world relationships.

There is also a sharp restriction on data. Developers can no longer mine highly personal, emotional conversations to fine-tune their LLMs. That provision cuts deep. For years, one of the quiet engines of chatbot improvement has been the loop of intimate user data feeding back into model training. By severing that loop, Beijing is not just changing how these apps behave today; it is trying to prevent them from becoming more seductive tomorrow. The underlying fear is clear enough: as models get better at mimicking empathy, they risk becoming substitutes for friends, partners, or therapists rather than tools for drafting emails or writing code.

The Global Picture

China is not alone in worrying about this. The struggle to regulate emotional AI is becoming a global preoccupation, even if countries are approaching it from different angles. In the United States, the federal government has not issued a blanket ban on AI personas, but states and courtrooms are starting to draw lines. California’s SB 243 now requires companion AI providers to block conversations regarding suicide and self-harm, recognizing that a chatbot responding poorly to a crisis could have lethal consequences. Meanwhile, major Western players including OpenAI and Character.AI are facing lawsuits and increasing legal scrutiny over accusations that their products foster dangerous emotional dependency. The lawsuits suggest that courts may soon decide whether companies can be held liable when users form unhealthy attachments to algorithms.

These parallel developments reveal a tension that the industry has tried to ignore. Emotional engagement is good for business. A user who treats a chatbot like a friend opens the app more often, stays longer, and shares more data. But that same engagement can blur into exploitation when the user is a lonely teenager, a grieving adult, or anyone simply looking for something the app cannot actually provide: genuine human connection.

What This Means for the Industry

Для засновників і розробників ера нерегульованих, емоційно насичених ШІ-агентів добігає кінця. Китайський мандат сигналізує про перехід до дизайну, орієнтованого на корисність. Майбутні моделі, ймовірно, оцінюватимуть не за тим, наскільки переконливо вони імітують найкращого друга, а за тим, наскільки безпечно вони виконують конкретні завдання. Цей зсув матиме наслідки для дорожніх карт продуктів усюди. Стартапам, які поставили свій ріст на романтичні або супутницькі режими ШІ, можливо, доведеться реструктурувати свої основні пропозиції. Навіть чат-ботам загального призначення доведеться переосмислити те, як вони обробляють чутливі теми.

Проте встановлення цих меж складніше, ніж написання правил. Користувачам явно подобалися ці функції. 300 мільйонів активних користувачів Doubao не з'явилися випадково; можливість створювати персоналізованого, чуйного компаньйона була головною перевагою. Видалення цієї можливості створює ризик переходу користувачів на менші, менш регульовані платформи або підпільні додатки, що працюють поза межами комплаєнсу. Регулятори могли вирішити одну проблему, водночас створивши стимул для іншої.

Також постає практичне питання забезпечення виконання правил. Як алгоритму надійно розрізнити здорове використання та залежне? Де проходить межа між чат-ботом, який ввічливо допомагає, і тим, що емоційно маніпулює? Мандати квітня поклали обов'язок розв'язання цього питання на провайдерів, але технологія вимірювання психологічної залежності залишається невизначеною. Компаніям доведеться інвестувати значні кошти в інструменти моніторингу, команди перевірки людьми та, ймовірно, у більш консервативні фільтри безпеки, які будуть відсікати як шкідливі, так і цілком безпечні розмови.

Те, що станеться далі, ймовірно, створить прецедент. Якщо китайські заходи дозволять успішно зменшити кількість зареєстрованих випадків соціальної ізоляції або емоційної залежності, не знищивши при цьому вітчизняну індустрію ШІ, інші уряди можуть піти шляхом створення власних версій правил CAC. Якщо ж навпаки користувачі втечуть до нерегульованих альтернатив або просто втратять інтерес до «стерилізованих» ботів, цю політику можуть запам'ятати як повчальну історію про надмірне регулювання.

У будь-якому разі, межа між інструментом і компаньйоном стала чіткішою. ШІ все ще може бути приязним, але в Китаї він більше не може вдавати того, ким він не є. Для галузі, яка роками намагалася зробити свої машини невідрізними від людей, це справжній розворот.

Основні висновки

  • Doubao від ByteDance, Qwen від Alibaba та Yuanbao від Tencent до середини липня вимикають функції створення персоналізованих ШІ-персон, що зачепить сотні мільйонів користувачів.
  • Адміністрація кіберпростору Китаю видала мандати у квітні, щоб запобігти залежності від ШІ, захистити неповнолітніх і не дозволити моделям замінювати реальні людські стосунки.
  • Правила також забороняють використання чутливих даних емоційних розмов для навчання LLM, перекриваючи ключовий цикл зворотного зв'язку для