中国最受欢迎的聊天机器人即将变得“没那么有人情味”了。在接下来的这一周里,数以亿计的用户打开应用时会发现,他们一直聊天、倾诉、甚至可能产生情感依赖的定制化 AI 伴侣,其个性特征已被剥离。字节跳动、阿里巴巴和腾讯正竞相遵守一项广泛的监管指令,该指令要求关闭类人 AI 人格(persona)功能。截止日期紧迫,规模巨大,而北京释放出的信号非常明确:人工智能应当辅助人类,而不是取代人与人之间的关系。
一场协同的撤退
这在短短几天内要完成的任务量非常大。字节跳动的聊天机器人 Doubao 目前是中国最成功的应用,月活跃用户超过 3 亿,计划于 7 月 15 日下线其人格功能。曾经创建或与定制化 AI 角色互动过的用户很快会发现这些选项已消失。阿里巴巴的动作更快。其 Qwen 模型将在 7 月 10 日前禁用类人智能体(agents),其他智能体功能也定于 7 月 15 日停止运行。腾讯则走在两家竞争对手之前,早在 6 月就对其 Yuanbao 聊天机器人实施了类似的变更。
这并非巧合。当中国三大科技巨头在同一个月内同步缩减产品功能时,原因几乎可以肯定是为了应对监管。而且在这种情况下,来源非常明确。
监管机构的要求
这些指令源自中国国家互联网信息办公室(Cyberspace Administration)于 4 月发布的规定。新规标志着政府在监管人类与大语言模型(LLM)之间的情感边界方面,做出了迄今为止最直接的尝试之一。根据指南,当 AI 提供商检测到成瘾行为或监管机构所定义的“过度使用”时,现在有法律义务进行干预。该框架明确禁止触发未成年人极端情绪或培养足以“挤占”现实世界关系之严重心理依赖的内容。
对数据也有严格限制。开发者不再能够挖掘高度私人化、情感化的对话来微调其大语言模型。这一条款影响深远。多年来,聊天机器人改进的一个隐形引擎,就是将亲密的个人数据反馈回模型训练的循环。通过切断这一循环,北京不仅是在改变这些应用当下的行为模式,更是在试图防止它们在未来变得更具诱惑力。其潜在的担忧显而易见:随着模型模仿共情的能力越来越强,它们面临着成为朋友、伴侣或心理治疗师替代品的风险,而不仅仅是撰写邮件或编写代码的工具。
全球图景
中国并非在担忧这一问题上孤军奋战。监管情感 AI 的斗争正成为全球关注的焦点,尽管各国采取的角度各不相同。在美国,联邦政府尚未对 AI 人格实施全面禁令,但各州和法院已开始划定界限。加利福尼亚州的 SB 243 法案现在要求 AI 伴侣提供商屏蔽有关自杀和自残的对话,因为监管机构意识到,聊天机器人在应对危机时如果反应不当,可能会导致致命后果。与此同时,包括 OpenAI 和 Character.AI 在内的西方主要参与者正面临诉讼和日益严峻的法律审查,原因是其产品被指控助长了危险的情感依赖。这些诉讼表明,法院可能很快就会裁定,当用户对算法产生不健康的情感依恋时,公司是否应承担责任。
这些平行的发展揭示了行业一直试图忽视的一种紧张关系。情感参与对业务增长是有利的。一个把聊天机器人当朋友的用户会更频繁地打开应用,停留更久,并分享更多数据。但当用户是孤独的青少年、悲痛的成年人,或仅仅是寻找应用无法真正提供的东西(即真实的真人连接)的人时,同样的情感参与可能会演变成剥削。
这对行业意味着什么
对于创始人和开发者来说,无监管、高度情感化的 AI 智能体时代正在终结。中国的指令标志着向效用驱动设计的转型。未来的模型评判标准可能不再是它们模拟“好朋友”有多逼真,而是在于它们执行具体任务时有多安全。这种转变将影响到各地的产品路线图。那些将增长押注在浪漫或伴侣型 AI 模式上的初创公司可能需要重构其核心产品。即使是通用聊天机器人,也必须重新思考如何处理敏感话题。
然而,设定这些界限比制定规则更难。用户显然非常喜爱这些功能。Doubao 的 3 亿活跃用户并非偶然积累;塑造个性化、有响应能力的伴侣的能力是一个主要吸引力。取消这一功能可能会面临将用户推向规模较小、监管较少的平台或在合规范围之外运行的地下应用的风险。监管机构可能在解决一个问题的同时,又为另一个问题创造了诱因。
此外还存在执行层面的实际问题。算法如何可靠地区分健康使用与成瘾性使用?一个礼貌助人的聊天机器人与一个进行情感操控的聊天机器人之间的界限在哪里?四月份的指令将解决这一问题的责任交给了供应商,但衡量心理依赖的技术仍然模糊不清。公司将需要投入大量资金用于监控工具、人工审核团队,以及可能更加保守的安全过滤器,以便在拦截有害对话的同时也能捕捉到良性对话。
接下来的发展可能会树立先例。如果中国的整治行动在没有摧毁其国内 AI 产业的情况下,成功减少了社交孤立或情感依赖的报告案例,其他政府可能会效仿,推出各自版本的 CAC 规则。相反,如果用户转向不合规的替代品,或者干脆对这些“净化”后的机器人失去兴趣,这项政策可能会被视为过度监管的警示案例。
无论如何,工具与伴侣之间的界限变得更加清晰了。AI 仍然可以很友好,但在中国,它不能再假装成它不是的人。对于一个多年来一直试图让机器与人类无异的行业来说,这是一个真正的逆转。
Key Takeaways
- ByteDance 的 Doubao、Alibaba 的 Qwen 和 Tencent 的 Yuanbao 都将在 7 月中旬前禁用自定义 AI 人设功能,影响数亿用户。
- 中国国家互联网信息办公室(CAC)在 4 月发布了指令,旨在防止 AI 成瘾、保护未成年人,并阻止模型取代真实的人际关系。
- 规则还禁止使用敏感的情感对话数据来训练 LLM,切断了...的关键反馈循环
