China’s most popular chatbots are about to feel a little less human. Over the next week, hundreds of millions of users will open their apps to find that the custom AI companions they have been texting, confiding in, and perhaps growing attached to have been stripped of their personalities. ByteDance, Alibaba, and Tencent are racing to comply with a sweeping regulatory order that demands the shutdown of humanlike AI persona features. The deadlines are tight, the scale is massive, and the message from Beijing is unmistakable: artificial intelligence should assist people, not replace the relationships they have with each other.

A Coordinated Retreat

That is a lot to cram into a few days. Doubao, ByteDance’s chatbot and currently the country’s most successful with over 300 million monthly active users, is scheduled to take its persona feature offline on July 15. Users who had created or interacted with bespoke AI characters will soon find those options gone. Alibaba is moving even faster. Its Qwen model will disable human-like agents by July 10, with additional agent features set to go dark by July 15. Tencent got ahead of both competitors, implementing similar changes to its Yuanbao chatbot back in June.

This is not a coincidence. When three of China’s tech giants synchronize their product rollbacks within the same month, the cause is almost certainly regulatory. And in this case, the source is explicit.

What the Regulators Demand

The directives came from China’s Cyberspace Administration in April. The new rules mark one of the most direct attempts yet by a major government to police the emotional boundary between humans and large language models. Under the guidelines, AI providers are now legally required to step in when they detect addictive behaviors or what regulators classify as “excessive use.” The framework explicitly prohibits content that triggers extreme emotions in minors or nurtures psychological dependencies severe enough to “crowd out” real-world relationships.

There is also a sharp restriction on data. Developers can no longer mine highly personal, emotional conversations to fine-tune their LLMs. That provision cuts deep. For years, one of the quiet engines of chatbot improvement has been the loop of intimate user data feeding back into model training. By severing that loop, Beijing is not just changing how these apps behave today; it is trying to prevent them from becoming more seductive tomorrow. The underlying fear is clear enough: as models get better at mimicking empathy, they risk becoming substitutes for friends, partners, or therapists rather than tools for drafting emails or writing code.

The Global Picture

China is not alone in worrying about this. The struggle to regulate emotional AI is becoming a global preoccupation, even if countries are approaching it from different angles. In the United States, the federal government has not issued a blanket ban on AI personas, but states and courtrooms are starting to draw lines. California’s SB 243 now requires companion AI providers to block conversations regarding suicide and self-harm, recognizing that a chatbot responding poorly to a crisis could have lethal consequences. Meanwhile, major Western players including OpenAI and Character.AI are facing lawsuits and increasing legal scrutiny over accusations that their products foster dangerous emotional dependency. The lawsuits suggest that courts may soon decide whether companies can be held liable when users form unhealthy attachments to algorithms.

These parallel developments reveal a tension that the industry has tried to ignore. Emotional engagement is good for business. A user who treats a chatbot like a friend opens the app more often, stays longer, and shares more data. But that same engagement can blur into exploitation when the user is a lonely teenager, a grieving adult, or anyone simply looking for something the app cannot actually provide: genuine human connection.

What This Means for the Industry

ಸಂಸ್ಥಾಪಕರು ಮತ್ತು ಡೆವಲಪರ್‌ಗಳಿಗೆ, ನಿಯಂತ್ರಣವಿಲ್ಲದ, ಅತಿಯಾದ ಭಾವನಾತ್ಮಕ AI ಏಜೆಂಟ್‌ಗಳ ಯುಗವು ಮುಕ್ತಾಯವಾಗುತ್ತಿದೆ. ಚೀನಾದ ಆದೇಶವು ಉಪಯುಕ್ತತೆ-ಚಾಲಿತ ವಿನ್ಯಾಸದತ್ತ (utility-driven design) ಒಂದು ಬದಲಾವಣೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಭವಿಷ್ಯದ ಮಾದರಿಗಳನ್ನು ಅವು ಎಷ್ಟು ನಂಬಲರ್ಹವಾಗಿ ಉತ್ತಮ ಸ್ನೇಹಿತರಂತೆ ನಟಿಸುತ್ತವೆ ಎಂಬುದಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ, ಅವು ಎಷ್ಟು ಸುರಕ್ಷಿತವಾಗಿ ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತವೆ ಎಂಬುದರ ಮೇಲೆ ನಿರ್ಣಯಿಸಲಾಗಬಹುದು. ಈ ಬದಲಾವಣೆಯು ಎಲ್ಲಾ ಉತ್ಪನ್ನಗಳ lộರಿಗಾಗಿ (product roadmaps) ಪರಿಣಾಮಗಳನ್ನು ಹೊಂದಿದೆ. ರೋಮ್ಯಾಂಟಿಕ್ ಅಥವಾ ಕಂಪಾನಿಯನ್ AI ಮಾದರಿಗಳ ಮೇಲೆ ತಮ್ಮ ಬೆಳವಣಿಗೆಯನ್ನು ಅವಲಂಬಿಸಿರುವ ಸ್ಟಾರ್ಟ್‌ಅಪ್‌ಗಳು ತಮ್ಮ ಮೂಲ ಕೊಡುಗೆಗಳನ್ನು ಮರುರಚಿಸುವ ಅಗತ್ಯವಿರಬಹುದು. ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಚಾಟ್‌ಬಾಟ್‌ಗಳು ಸಹ ಸೂಕ್ಷ್ಮ ವಿಷಯಗಳನ್ನು ಹೇಗೆ ನಿರ್ವಹಿಸಬೇಕು ಎಂಬುದರ ಬಗ್ಗೆ ಮರುಚಿಂತನೆ ಮಾಡಬೇಕಾಗುತ್ತದೆ.

ಆದರೂ, ಈ ಮಿತಿಗಳನ್ನು ಹೇರುವುದು ನಿಯಮಗಳನ್ನು ಬರೆಯುವುದಕ್ಕಿಂತ ಕಷ್ಟಕರವಾಗಿದೆ. ಬಳಕೆದಾರರು ಸ್ಪಷ್ಟವಾಗಿ ಈ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಇಷ್ಟಪಟ್ಟಿದ್ದಾರೆ. Doubao ನ 300 ಮಿಲಿಯನ್ ಸಕ್ರಿಯ ಬಳಕೆದಾರರು ಆಕಸ್ಮಿಕವಾಗಿ ಬಂದಿಲ್ಲ; ವೈಯಕ್ತಿಕಗೊಳಿಸಿದ, ಸ್ಪಂದಿಸುವ ಸಂಗಾತಿಯನ್ನು ರೂಪಿಸುವ ಸಾಮರ್ಥ್ಯವು ಒಂದು ಪ್ರಮುಖ ಆಕರ್ಷಣೆಯಾಗಿತ್ತು. ಆ ಸಾಮರ್ಥ್ಯವನ್ನು ತೆಗೆದುಹಾಕುವುದರಿಂದ ಬಳಕೆದಾರರು ನಿಯಂತ್ರಣವಿಲ್ಲದ ಸಣ್ಣ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು ಅಥವಾ ನಿಯಮಗಳ ವ್ಯಾಪ್ತಿಯ ಹೊರಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಅಂಡರ್‌ಗ್ರೌಂಡ್ ಆಪ್‌ಗಳ ಕಡೆಗೆ ಹೋಗುವ ಅಪಾಯವಿದೆ. ನಿಯಂತ್ರಕರು ಒಂದು ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತಲೇ ಮತ್ತೊಂದು ಸಮಸ್ಯೆಗೆ ಪ್ರೇರಣೆ ನೀಡಿದ್ದಾರೆಯೇನೋ ಎಂಬ ಸಂದೇಹವಿದೆ.

ಜಾರಿಗೊಳಿಸುವಿಕೆಯ ಬಗ್ಗೆಯೂ ಪ್ರಾಯೋಗಿಕ ಪ್ರಶ್ನೆಯಿದೆ. ಒಂದು ಅಲ್ಗಾರಿದಮ್ ಆರೋಗ್ಯಕರ ಬಳಕೆ ಮತ್ತು ವ್ಯಸನಕಾರಿ ಬಳಕೆಯ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಹೇಗೆ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಗುರುತಿಸುತ್ತದೆ? ವಿನಯಪೂರ್ವಕವಾಗಿ ಸಹಾಯ ಮಾಡುವ ಚಾಟ್‌ಬಾಟ್ ಮತ್ತು ಭಾವನಾತ್ಮಕವಾಗಿ ಕುತಂತ್ರ ಮಾಡುವ ಚಾಟ್‌ಬಾಟ್ ನಡುವಿನ ಗೆರೆ ಎಲ್ಲಿರುತ್ತದೆ? ಏಪ್ರಿಲ್ ಆದೇಶಗಳು ಇದನ್ನು ಕಂಡುಹಿಡಿಯುವ ಜವಾಬ್ದಾರಿಯನ್ನು ಪೂರೈಕೆದಾರರ ಮೇಲೆ ಹಾಕುತ್ತವೆ, ಆದರೆ ಮಾನಸಿಕ ಅವಲಂಬನೆಯನ್ನು ಅಳೆಯುವ ತಂತ್ರಜ್ಞಾನವು ಇನ್ನೂ ಅಸ್ಪಷ್ಟವಾಗಿದೆ. ಕಂಪನಿಗಳು ಮೇಲ್ವಿಚಾರಣಾ ಸಾಧನಗಳು, ಮಾನವ ವಿಮರ್ಶಾ ತಂಡಗಳು ಮತ್ತು ಹಾನಿಕಾರಕ ಸಂಭಾಷಣೆಗಳ ಜೊತೆಗೆ ಸೌಮ್ಯವಾದ ಸಂಭಾಷಣೆಗಳನ್ನು ಸಹ ಹಿಡಿಯುವ ಹೆಚ್ಚು ಸಂಪ್ರದಾಯಬದ್ಧ ಸುರಕ್ಷತಾ ಫಿಲ್ಟರ್‌ಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಹೂಡಿಕೆ ಮಾಡಬೇಕಾಗುತ್ತದೆ.

ಮುಂದೆ ಏನಾಗುತ್ತದೆಯೋ ಅದು ಒಂದು ಮಾದರಿಯನ್ನು (precedent) ರೂಪಿಸಬಹುದು. ಚೀನಾದ ಈ ಕ್ರಮವು ದೇಶೀಯ AI ಉದ್ಯಮವನ್ನು ಕುಸಿಯುವಂತೆ ಮಾಡದೆ, ಸಾಮಾಜಿಕ ಏಕಾಂಗಿತನ ಅಥವಾ ಭಾವನಾತ್ಮಕ ಅವಲಂಬನೆಯ ಪ್ರಕರಣಗಳನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಕಡಿಮೆ ಮಾಡಿದರೆ, ಇತರ ಸರ್ಕಾರಗಳು ಕೂಡ CAC ನಿಯಮಗಳ ತಮ್ಮದೇ ಆದ ಆವೃತ್ತಿಗಳೊಂದಿಗೆ ಅನುಸರಿಸಬಹುದು. ಬದಲಾಗಿ, ಬಳಕೆದಾರರು ನಿಯಮಗಳನ್ನು ಪಾಲಿಸದ ಪರ್ಯಾಯಗಳತ್ತ ಓಡಿದರೆ ಅಥವಾ ಮಿತಿಗೊಳಿಸಿದ ಬಾಟ್‌ಗಳಲ್ಲಿ ಆಸಕ್ತಿ ಕಳೆದುಕೊಂಡರೆ, ಈ ನೀತಿಯನ್ನು ಅತಿಯಾದ ಹಸ್ತಕ್ಷೇಪದ ಬಗ್ಗೆ ಎಚ್ಚರಿಸುವ ಕಥೆಯಾಗಿ ನೆನಪಿಸಿಕೊಳ್ಳಬಹುದು.

ಯಾವುದೇ ರೀತಿಯಲ್ಲಿರಲಿ, ಉಪಕರಣ (tool) ಮತ್ತು ಸಂಗಾತಿ (companion) ನಡುವಿನ ಗೆರೆ ಈಗ ಹೆಚ್ಚು ಸ್ಪಷ್ಟವಾಗಿದೆ. AI ಇನ್ನೂ ಸ್ನೇಹಪರವಾಗಬಹುದು, ಆದರೆ ಚೀನಾದಲ್ಲಿ, ಅದು ತಾನು ಇಲ್ಲದ ವ್ಯಕ್ತಿಯಂತೆ ನಟಿಸಲು ಇನ್ನು ಸಾಧ್ಯವಿಲ್ಲ. ತಮ್ಮ ಯಂತ್ರಗಳನ್ನು ಮನುಷ್ಯರಿಂದ ಪ್ರತ್ಯೇಕಿಸಲು ಸಾಧ್ಯವಾಗದಂತೆ ಮಾಡಲು ವರ್ಷಗಟ್ಟಲೆ ಪ್ರಯತ್ನಿಸುತ್ತಿರುವ ಉದ್ಯಮಕ್ಕೆ, ಇದು ಒಂದು ನಿಜವಾದ ತಿರುವು.

Key Takeaways

  • ByteDance ನ Doubao, Alibaba ನ Qwen, ಮತ್ತು Tencent ನ Yuanbao ಇವೆಲ್ಲವೂ ಜುಲೈ ಮಧ್ಯಭಾಗದೊಳಗೆ ಕಸ್ಟಮ್ AI ಪರ್ಸೋನಾ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ನಿಷ್ಕ್ರಿಯಗೊಳಿಸುತ್ತಿವೆ, ಇದು ಕೋಟ್ಯಂತರ ಬಳಕೆದಾರರ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ.
  • AI ವ್ಯಸನವನ್ನು ತಡೆಗಟ್ಟಲು, ಅಪ್ರಾಪ್ತ ವಯಸ್ಕರನ್ನು ರಕ್ಷಿಸಲು ಮತ್ತು ಮಾದರಿಗಳು ನೈತಿಕ ಮಾನವ ಸಂಬಂಧಗಳನ್ನು ಬದಲಾಯಿಸುವುದನ್ನು ತಡೆಯಲು ಚೀನಾದ Cyberspace Administration ಏಪ್ರಿಲ್‌ನಲ್ಲಿ ಈ ಆದೇಶಗಳನ್ನು ಹೊರಡಿಸಿದೆ.
  • LLM ಗಳನ್ನು ತರಬೇತುಗೊಳಿಸಲು ಸೂಕ್ಷ್ಮ ಭಾವನಾತ್ಮಕ ಸಂಭಾಷಣೆಯ ಡೇಟಾವನ್ನು ಬಳಸುವುದನ್ನು ಈ ನಿಯಮಗಳು ನಿಷೇಧಿಸುತ್ತವೆ, ಇದು ಪ್ರಮುಖ ಫೀಡ್‌ಬ್ಯಾಕ್ ಲೂಪ್ ಅನ್ನು ಕಡಿತಗೊಳಿಸುತ್ತದೆ.