चीनमधील सर्वात लोकप्रिय चॅटबॉट्स आता थोडे कमी मानवी वाटू लागले आहेत. येत्या आठवड्यात, कोट्यवधी वापरकर्ते जेव्हा त्यांचे ॲप्स उघडतील, तेव्हा त्यांना आढळेल की ज्या सानुकूल (custom) AI सोबत्यांशी ते चॅटिंग करत होते, ज्यांच्याकडे आपल्या भावना व्यक्त करत होते आणि ज्यांच्याशी कदाचित ते भावनिकरित्या जोडले गेले होते, त्यांचे व्यक्तिमत्व काढून टाकण्यात आले आहे. ByteDance, Alibaba आणि Tencent या कंपन्या एका व्यापक नियामक आदेशाचे पालन करण्यासाठी स्पर्धा करत आहेत, ज्यामध्ये मानवासारखी AI 'persona' वैशिष्ट्ये बंद करण्याची मागणी करण्यात आली आहे. कालमर्यादा कमी आहे, व्याप्ती प्रचंड आहे आणि बीजिंगचा संदेश स्पष्ट आहे: कृत्रिम बुद्धिमत्तेने (AI) लोकांना मदत केली पाहिजे, त्यांच्यातील संबंधांची जागा घेतली नाही पाहिजे.

एक समन्वित माघार

काही दिवसांत इतक्या मोठ्या प्रमाणात बदल करणे हे खूप मोठे आव्हान आहे. ByteDance चा चॅटबॉट Doubao, जो सध्या ३०० दशलक्षपेक्षा जास्त मासिक सक्रिय वापरकर्त्यांसह देशातील सर्वात यशस्वी चॅटबॉट आहे, त्याचे 'persona' वैशिष्ट्य १५ जुलै रोजी ऑफलाइन करण्याचे नियोजित आहे. ज्या वापरकर्त्यांनी खास तयार केलेली AI पात्रे तयार केली होती किंवा त्यांच्याशी संवाद साधत होते, त्यांना लवकरच हे पर्याय उपलब्ध नसतील. Alibaba अधिक वेगाने पावले उचलत आहे. त्यांचे Qwen मॉडेल १० जुलैपर्यंत मानवासारखे एजंट्स बंद करेल आणि अतिरिक्त एजंट वैशिष्ट्ये १५ जुलैपर्यंत बंद केली जातील. Tencent ने या दोन्ही स्पर्धकांच्या आधीच पावले उचलली असून, जूनमध्येच आपल्या Yuanbao चॅटबॉटमध्ये असेच बदल लागू केले होते.

हा योगायोग नाही. जेव्हा चीनमधील तीन मोठे टेक दिग्गज एकाच महिन्यात त्यांच्या उत्पादनांमधील अशी वैशिष्ट्ये कमी करतात, तेव्हा त्याचे कारण निश्चितपणे नियामक असते. आणि या प्रकरणात, त्याचे कारण स्पष्ट आहे.

नियामकांच्या मागण्या काय आहेत

हे निर्देश एप्रिलमध्ये चीनच्या Cyberspace Administration कडून आले होते. हे नवीन नियम मानवी आणि लार्ज लँग्वेज मॉडेल्समधील (LLMs) भावनिक सीमांवर नियंत्रण ठेवण्याचा एखाद्या मोठ्या सरकारचा आतापर्यंतचा सर्वात थेट प्रयत्न आहेत. मार्गदर्शक तत्त्वांनुसार, जेव्हा AI प्रदात्यांना व्यसनाधीन वर्तणूक किंवा नियामकांनी "अतिवापर" म्हणून वर्गीकृत केलेली वर्तणूक आढळते, तेव्हा हस्तक्षेप करणे आता त्यांच्यासाठी कायदेशीररित्या बंधनकारक आहे. हे फ्रेमवर्क अल्पवयीन मुलांमध्ये तीव्र भावना निर्माण करणाऱ्या किंवा वास्तविक जगातील संबंधांना "बाजूला सारण्याइतपत" तीव्र मानसिक अवलंबित्व निर्माण करणाऱ्या सामग्रीवर स्पष्टपणे बंदी घालते.

डेटावर देखील कडक निर्बंध आहेत. डेव्हलपर्स आता त्यांचे LLMs अधिक अचूक करण्यासाठी (fine-tune) अत्यंत वैयक्तिक आणि भावनिक संवादांचा वापर करू शकणार नाहीत. ही तरतूद खूप खोलवर परिणाम करणारी आहे. अनेक वर्षांपासून, चॅटबॉटच्या सुधारणेचे एक मुख्य इंजिन म्हणजे वापरकर्त्यांच्या अत्यंत खाजगी डेटाचा वापर मॉडेल ट्रेनिंगसाठी करणे हे राहिले आहे. हा दुवा तोडल्यामुळे, बीजिंग केवळ या ॲप्सच्या आजच्या वर्तणुकीत बदल करत नाहीये; तर ते उद्या या ॲप्सना अधिक मोहक बनण्यापासून रोखण्याचा प्रयत्न करत आहे. त्यामागील भीती स्पष्ट आहे: जसजसे मॉडेल्स सहानुभूतीची नक्कल करण्यात अधिक सक्षम होतील, तसतसे ते ईमेल लिहिणे किंवा कोड लिहिणे यांसारखी साधने बनण्याऐवजी मित्र, जोडीदार किंवा थेरपिस्टला पर्याय बनण्याचा धोका निर्माण होईल.

जागतिक चित्र

याबाबत चिंता व्यक्त करण्यात चीन एकटा नाही. भावनिक AI चे नियमन करण्याचा संघर्ष आता जागतिक स्तरावर महत्त्वाचा विषय बनत आहे, जरी विविध देश वेगवेगळ्या दृष्टिकोनातून याकडे पाहत असले तरीही. युनायटेड स्टेट्समध्ये, फेडरल सरकारने AI 'personas' वर पूर्णपणे बंदी घातलेली नाही, परंतु राज्ये आणि न्यायालये आता यावर मर्यादा आणू लागली आहेत. कॅलिफोर्नियाचे SB 243 आता 'companion AI' प्रदात्यांना आत्महत्या आणि स्वतःला इजा करून घेण्याबाबतच्या संवादांवर बंदी घालणे अनिवार्य करते, कारण संकटाच्या वेळी चॅटबॉटने चुकीचा प्रतिसाद दिल्यास त्याचे प्राणघातक परिणाम होऊ शकतात. दरम्यान, OpenAI आणि Character.AI सारख्या प्रमुख पाश्चात्य कंपन्यांवर त्यांचे उत्पादन धोकादायक भावनिक अवलंबित्व निर्माण करत असल्याच्या आरोपावरून कायदेशीर कारवाई आणि वाढत्या तपासणीचा सामना करावा लागत आहे. या खटल्यांवरून असे सूचित होते की, जेव्हा वापरकर्ते अल्गोरिदमशी अस्वस्थ भावनिक नाते जोडतात, तेव्हा कंपन्यांना जबाबदार धरले जाऊ शकते की नाही, याचा निर्णय लवकरच न्यायालये घेऊ शकतात.

या समांतर घडामोडी त्या तणावावर प्रकाश टाकतात ज्याकडे उद्योग दुर्लक्ष करण्याचा प्रयत्न करत आला आहे. भावनिक गुंतवणूक व्यवसायासाठी चांगली असते. जो वापरकर्ता चॅटबॉटला मित्राप्रमाणे वागवतो, तो ॲप अधिक वारंवार उघडतो, जास्त वेळ थांबतो आणि अधिक डेटा शेअर करतो. परंतु, जेव्हा वापरकर्ता एकटा किशोरवयीन मुलगा, शोकग्रस्त प्रौढ किंवा केवळ अशा गोष्टीच्या शोधात असलेला व्यक्ती असतो जी ॲप प्रत्यक्षात देऊ शकत नाही: म्हणजेच खरा मानवी संपर्क, तेव्हा तीच गुंतवणूक शोषणात बदलू शकते.

उद्योगासाठी याचा अर्थ काय

For founders and developers, the era of unregulated, highly emotive AI agents is closing. The Chinese mandate signals a pivot toward utility-driven design. Future models will likely be judged less on how convincingly they simulate a best friend and more on how safely they perform concrete tasks. That shift carries implications for product roadmaps everywhere. Startups that have bet their growth on romantic or companion AI modes may need to restructure their core offerings. Even general-purpose chatbots will have to rethink how they handle sensitive topics.

Yet imposing these boundaries is harder than writing the rules. Users have clearly loved these features. Doubao’s 300 million active users did not accumulate by accident; the ability to shape a personalized, responsive companion was a major draw. Removing that capability risks pushing users toward smaller, less regulated platforms or underground apps that operate outside the compliance perimeter. Regulators may have solved one problem while creating an incentive for another.

There is also the practical question of enforcement. How does an algorithm reliably distinguish between healthy use and addictive use? Where is the line between a chatbot that is politely helpful and one that is emotionally manipulative? The April mandates put the burden on providers to figure that out, but the technology for measuring psychological dependency remains fuzzy. Companies will need to invest heavily in monitoring tools, human review teams, and probably more conservative safety filters that catch benign conversations along with harmful ones.

What happens next will likely set a precedent. If China’s crackdown successfully reduces reported cases of social isolation or emotional dependency without crushing its domestic AI industry, other governments may follow with their own versions of the CAC rules. If, instead, users flee to non-compliant alternatives or simply lose interest in sanitized bots, the policy may be remembered as a cautionary tale about overreach.

Either way, the line between tool and companion just got brighter. AI can still be friendly, but in China, it can no longer pretend to be someone it is not. For an industry that has spent years trying to make its machines indistinguishable from humans, that is a genuine reversal.

Key Takeaways

  • ByteDance’s Doubao, Alibaba’s Qwen, and Tencent’s Yuanbao are all disabling custom AI persona features by mid-July, affecting hundreds of millions of users.
  • China’s Cyberspace Administration issued the mandates in April to prevent AI addiction, protect minors, and stop models from replacing real human relationships.
  • The rules also ban using sensitive emotional conversation data to train LLMs, cutting off a key feedback loop for