중국에서 가장 인기 있는 챗봇들이 조금은 덜 인간적으로 느껴지게 될 전망이다. 다음 한 주 동안, 수억 명의 사용자가 앱을 열었을 때 자신들이 메시지를 주고받고, 고민을 털어놓으며, 어쩌면 애착까지 느꼈던 맞춤형 AI 동반자들의 개성이 사라진 것을 발견하게 될 것이다. ByteDance, Alibaba, Tencent는 인간과 유사한 AI 페르소나 기능을 중단하라는 광범위한 규제 명령을 준수하기 위해 속도를 내고 있다. 마감 기한은 촉박하고 규모는 방대하며, 베이징의 메시지는 명확하다. 인공지능은 사람을 돕는 도구여야지, 사람들 사이의 관계를 대체해서는 안 된다는 것이다.

조직적인 후퇴

며칠 만에 처리하기에는 매우 방대한 양이다. 월간 활성 사용자 수(MAU)가 3억 명 이상으로 현재 중국에서 가장 성공적인 ByteDance의 챗봇 Doubao는 7월 15일에 페르소나 기능을 오프라인으로 전환할 예정이다. 맞춤형 AI 캐릭터를 생성했거나 상호작용했던 사용자들은 곧 해당 옵션이 사라진 것을 보게 될 것이다. Alibaba는 훨씬 더 빠르게 움직이고 있다. Qwen 모델은 7월 10일까지 인간과 유사한 에이전트 기능을 비활성화하며, 추가적인 에이전트 기능은 7월 15일까지 중단될 예정이다. Tencent는 경쟁사들보다 앞서 지난 6월 Yuanbao 챗봇에 유사한 변경 사항을 적용했다.

이것은 우연이 아니다. 중국의 3대 기술 거물이 같은 달에 제품 기능을 축소하는 것은 거의 확실히 규제 때문이다. 그리고 이번 경우에는 그 원인이 명시되어 있다.

규제 당국의 요구 사항

이 지침은 지난 4월 중국 사이버공간관리국(Cyberspace Administration)에서 내려왔다. 새로운 규칙은 주요 정부가 인간과 대규모 언어 모델(LLM) 사이의 감정적 경계를 통제하려는 가장 직접적인 시도 중 하나로 평가받는다. 가이드라인에 따라 AI 제공업체는 중독 행동이나 규제 당국이 '과도한 사용'으로 분류하는 행위가 감지될 경우 법적으로 개입해야 한다. 이 프레임워크는 미성년자에게 극단적인 감정을 유발하거나 현실 세계의 관계를 '밀어낼' 정도로 심각한 심리적 의존성을 키우는 콘텐츠를 명시적으로 금지한다.

데이터에 대한 엄격한 제한도 포함되어 있다. 개발자들은 더 이상 LLM을 미세 조정(fine-tuning)하기 위해 매우 개인적이고 감정적인 대화 데이터를 채굴할 수 없다. 이 조항은 파급력이 크다. 지난 수년간 챗봇 개선의 조용한 엔진 중 하나는 친밀한 사용자 데이터를 모델 학습에 다시 피드백하는 루프였다. 이 루프를 끊음으로써 베이징은 단순히 오늘날 이 앱들의 동작 방식을 바꾸는 것이 아니라, 내일 이 앱들이 더 유혹적으로 변하는 것을 방지하려 하고 있다. 근저에 깔린 공포는 충분히 명확하다. 모델이 공감 능력을 모방하는 데 능숙해질수록, 이들이 이메일 초안을 작성하거나 코드를 쓰는 도구가 아니라 친구, 파트너, 또는 상담사를 대체할 위험이 있기 때문이다.

글로벌 현황

이러한 우려를 하는 것은 중국뿐만이 아니다. 감정적 AI를 규제하려는 노력은 국가마다 접근 방식은 다르지만 전 세계적인 관심사가 되고 있다. 미국에서는 연방 정부가 AI 페르소나에 대한 포괄적인 금지령을 내리지는 않았지만, 주 정부와 법원이 선을 긋기 시작했다. 캘리포니아의 SB 243은 위기 상황에 제대로 대응하지 못하는 챗봇이 치명적인 결과를 초래할 수 있음을 인식하여, 동반자 AI 제공업체가 자살 및 자해에 관한 대화를 차단하도록 요구하고 있다. 한편, OpenAI와 Character.AI를 포함한 주요 서구 기업들은 제품이 위험한 감정적 의존성을 조장한다는 비난과 함께 소송 및 증가하는 법적 조사를 직면하고 있다. 이러한 소송은 사용자가 알고리즘에 건강하지 못한 애착을 형성했을 때 기업에 책임을 물을 수 있는지 여부를 법원이 곧 결정하게 될 수도 있음을 시사한다.

이러한 병행적인 발전은 업계가 무시하려 했던 긴장 관계를 드러낸다. 감정적 몰입은 비즈니스에 유리하다. 챗봇을 친구처럼 대하는 사용자는 앱을 더 자주 열고, 더 오래 머물며, 더 많은 데이터를 공유한다. 하지만 사용자가 외로운 십 대, 슬픔에 잠긴 성인, 또는 단순히 앱이 실제로 제공할 수 없는 것, 즉 진정한 인간적 연결을 찾는 사람일 경우, 그 몰입은 착취로 변질될 수 있다.

이것이 업계에 의미하는 바

창업자와 개발자들에게 규제되지 않은 고도의 감성적 AI 에이전트의 시대는 저물고 있습니다. 중국의 이번 규제는 유틸리티 중심 설계로의 전환을 예고합니다. 향후 모델들은 얼마나 설득력 있게 절친한 친구를 흉내 내는지보다는, 얼마나 안전하게 구체적인 작업을 수행하는지에 따라 평가받을 가능성이 높습니다. 이러한 변화는 모든 제품 로드맵에 영향을 미칩니다. 로맨틱하거나 컴패니언(companion) AI 모드에 성장을 걸었던 스타트업들은 핵심 제품을 재편해야 할 수도 있습니다. 범용 챗봇조차도 민감한 주제를 다루는 방식을 재고해야 할 것입니다.

하지만 이러한 경계를 설정하는 것은 규칙을 만드는 것보다 어렵습니다. 사용자들은 분명히 이러한 기능들을 좋아해 왔습니다. Doubao의 활성 사용자 3억 명은 우연히 모인 것이 아닙니다. 개인화되고 반응적인 컴패니언을 형성할 수 있는 능력은 주요한 매력이었습니다. 이 기능을 제거하는 것은 사용자들이 규제 범위 밖에서 운영되는 더 작고 규제가 덜한 플랫폼이나 지하 앱으로 떠나게 만들 위험이 있습니다. 규제 당국은 한 가지 문제를 해결하는 동시에 또 다른 문제를 유발하는 유인을 만들었을지도 모릅니다.

집행에 관한 실질적인 문제도 있습니다. 알고리즘이 건전한 사용과 중독적인 사용을 어떻게 신뢰성 있게 구분할 수 있을까요? 예의 바르고 도움이 되는 챗봇과 감정적으로 조작적인 챗봇 사이의 경계는 어디일까요? 4월의 규제는 이를 파악해야 하는 부담을 제공자에게 지웠지만, 심리적 의존도를 측정하는 기술은 여전히 모호합니다. 기업들은 모니터링 도구, 인적 검토 팀, 그리고 유해한 대화뿐만 아니라 무해한 대화까지 걸러낼 수 있는 더 보수적인 안전 필터에 막대한 투자를 해야 할 것입니다.

다음에 어떤 일이 일어날지는 선례가 될 가능성이 높습니다. 만약 중국의 단속이 자국 AI 산업을 무너뜨리지 않으면서 사회적 고립이나 정서적 의존 사례를 성공적으로 줄인다면, 다른 정부들도 CAC 규정의 자체 버전을 따를 수 있습니다. 반대로 사용자들이 규제를 준수하지 않는 대안으로 도망치거나 단순히 정제된 봇에 흥미를 잃는다면, 이 정책은 과잉 규제에 대한 경고성 사례로 기억될 것입니다.

어느 쪽이든, 도구와 컴패니언 사이의 경계는 더욱 선명해졌습니다. AI는 여전히 친근할 수 있지만, 중국에서 AI는 더 이상 자신이 아닌 존재인 척할 수 없습니다. 기계를 인간과 구별할 수 없게 만들기 위해 수년간 노력해 온 산업에 있어, 이는 진정한 역전입니다.

핵심 요약

  • ByteDance의 Doubao, Alibaba의 Qwen, Tencent의 Yuanbao는 모두 7월 중순까지 맞춤형 AI 페르소나 기능을 비활성화하며, 이는 수억 명의 사용자에게 영향을 미칩니다.
  • 중국 국가인터넷정보판공실(CAC)은 AI 중독을 방지하고, 미성년자를 보호하며, 모델이 실제 인간관계를 대체하는 것을 막기 위해 4월에 규제를 발표했습니다.
  • 또한 이 규칙은 LLM 학습을 위해 민감한 감정 대화 데이터를 사용하는 것을 금지하며, 이는 ...를 위한 핵심 피드백 루프를 차단하며