הצ'אטבוטים הפופולריים ביותר בסין עומדים להרגיש קצת פחות אנושיים. במהלך השבוע הקרוב, מאות מיליוני משתמשים יפתחו את האפליקציות שלהם ויגלו שהמלווים המותאמים אישית מבוססי ה-AI, שאיתם הם מתכתבים, משתפים בסודות ואולי אף פיתחו אליהם חיבור, הופשטו מאישיותם. ByteDance, Alibaba ו-Tencent נמצאות במירוץ כדי לציית לצו רגולטורי נרחב הדורש את כיבוי תכונות ה-persona של AI דמויות אדם. לוחות הזמנים צפופים, ההיקף עצום, והמסר מבייג'ינג חד משמעי: בינה מלאכותית צריכה לסייע לאנשים, לא להחליף את מערכות היחסים שיש להם זה עם זה.

נסיגה מתואמת

יש הרבה מה לדחוס לכמה ימים. Doubao, הצ'אטבוט של ByteDance והמצליח ביותר כיום במדינה עם למעלה מ-300 מיליון משתמשים פעילים בחודש, מתוכנן להסיר את תכונת ה-persona שלו מהרשת ב-15 ביולי. משתמשים שיצרו או תקשרו עם דמויות AI מותאמות אישית יגלו בקרוב שהאפשרויות הללו נעלמו. Alibaba פועלת אף מהר יותר. מודל Qwen שלה יבטל סוכנים (agents) דמויי אדם עד ה-10 ביולי, כאשר תכונות סוכן נוספות מתוכננות להיעלם עד ה-15 ביולי. Tencent הקדימה את שתי המתחרות שלה, כשהיא מיישמת שינויים דומים בצ'אטבוט Yuanbao שלה כבר ביוני.

זה לא מקרה. כששלוש מענקיות הטכנולוגיה של סין מסנכרנות את הנסיגה מהמוצרים שלהן בתוך אותו חודש, הסיבה היא כמעט בוודאות רגולטורית. ובמקרה הזה, המקור מפורש.

מה הרגולטורים דורשים

ההנחיות הגיעו מה-Cyberspace Administration של סין באפריל. הכללים החדשים מסמנים אחת מהניסיונות הישירים ביותר עד כה של ממשלה גדולה לאכוף את הגבול הרגשי בין בני אדם לבין מודלי שפה גדולים (LLMs). תחת ההנחיות, ספקי AI נדרשים כעת על פי חוק להתערב כאשר הם מזהים התנהגויות ממכרות או מה שרגולטורים מסווגים כ"שימוש מופרז". המסגרת אוסרת במפורש על תוכן המעורר רגשות קיצוניים אצל קטינים או מטפח תלות פסיכולוגית חמורה מספיק כדי "לדחוק החוצה" מערכות יחסים בעולם האמיתי.

קיימת גם הגבלה חמרה על נתונים. מפתחים לא יכולים עוד לחלץ שיחות אישיות ורגשיות מאוד כדי לבצע כוונון עדין (fine-tune) למודלי ה-LLM שלהם. הסעיף הזה פוגע עמוק. במשך שנים, אחד המנועים השקטים של שיפור הצ'אטבוטים היה הלולאה שבה נתונים אינטימיים של משתמשים מוזנים חזרה לאימון המודל. על ידי ניתוק הלולאה הזו, בייג'ינג לא רק משנה את האופן שבו האפליקציות הללו מתנהגות היום; היא מנסה למנוע מהן להפוך למפתות יותר מחר. הפחד הבסיסי ברור מספיק: ככל שהמודלים משתפרים בחיקוי אמפתיה, הם מסתכנים בהפיכה לתחליפים לחברים, בני זוג או מטפלים, במקום להיות כלים לכתיבת אימיילים או קוד.

התמונה הגלובלית

סין אינה לבד בדאגה הזו. המאבק להסדיר AI רגשי הופך לעיסוק גלובלי, גם אם מדינות ניגשות אליו מזוויות שונות. בארצות הברית, הממשל הפדרלי לא הוציא איסור גורף על דמויות AI, אך מדינות ובתי משפט מתחילים להתוות קווים אדומים. חוק SB 243 של קליפורניה דורש כעת מספקי AI מלווים לחסום שיחות בנוגע להתאבדות ופגיעה עצמית, מתוך הכרה בכך שצ'אטבוט המגיב בצורה גרועה למשבר עלול להוביל לתוצאות קטלניות. בינתיים, שחקנים מערביים מרכזיים, כולל OpenAI ו-Character.AI, מתמודדים עם תביעות ופיקוח משפטי גובר על האשמות לפיהן המוצרים שלהם מטפחים תלות רגשית מסוכנת. התביעות מרמזות כי בתי המשפט עשויים להחליט בקרוב האם ניתן להטיל אחריות על חברות כאשר משתמשים יוצרים קשרים לא בריאים עם אלגוריתמים.

התפתחויות מקבילות אלו חושפות מתח שהתעשייה ניסתה להתעלם ממנו. מעורבות רגשית היא טובה לעסקים. משתמש המתייחס לצ'אטבוט כאל חבר פותח את האפליקציה לעיתים קרובות יותר, נשאר בה זמן רב יותר, ומשתף יותר נתונים. אך אותה מעורבות עלולה להפוך לניצול כאשר המשתמש הוא נער בודד, מבוגר שמתמודד עם אבל, או כל אחד שפשוט מחפש משהו שהאפליקציה אינה יכולה לספק בפועל: חיבור אנושי אמיתי.

המשמעות של זה עבור התעשייה

For founders and developers, the era of unregulated, highly emotive AI agents is closing. The Chinese mandate signals a pivot toward utility-driven design. Future models will likely be judged less on how convincingly they simulate a best friend and more on how safely they perform concrete tasks. That shift carries implications for product roadmaps everywhere. Startups that have bet their growth on romantic or companion AI modes may need to restructure their core offerings. Even general-purpose chatbots will have to rethink how they handle sensitive topics.

Yet imposing these boundaries is harder than writing the rules. Users have clearly loved these features. Doubao’s 300 million active users did not accumulate by accident; the ability to shape a personalized, responsive companion was a major draw. Removing that capability risks pushing users toward smaller, less regulated platforms or underground apps that operate outside the compliance perimeter. Regulators may have solved one problem while creating an incentive for another.

There is also the practical question of enforcement. How does an algorithm reliably distinguish between healthy use and addictive use? Where is the line between a chatbot that is politely helpful and one that is emotionally manipulative? The April mandates put the burden on providers to figure that out, but the technology for measuring psychological dependency remains fuzzy. Companies will need to invest heavily in monitoring tools, human review teams, and probably more conservative safety filters that catch benign conversations along with harmful ones.

What happens next will likely set a precedent. If China’s crackdown successfully reduces reported cases of social isolation or emotional dependency without crushing its domestic AI industry, other governments may follow with their own versions of the CAC rules. If, instead, users flee to non-compliant alternatives or simply lose interest in sanitized bots, the policy may be remembered as a cautionary tale about overreach.

Either way, the line between tool and companion just got brighter. AI can still be friendly, but in China, it can no longer pretend to be someone it is not. For an industry that has spent years trying to make its machines indistinguishable from humans, that is a genuine reversal.

Key Takeaways

  • ByteDance’s Doubao, Alibaba’s Qwen, and Tencent’s Yuanbao are all disabling custom AI persona features by mid-July, affecting hundreds of millions of users.
  • China’s Cyberspace Administration issued the mandates in April to prevent AI addiction, protect minors, and stop models from replacing real human relationships.
  • The rules also ban using sensitive emotional conversation data to train LLMs, cutting off a key feedback loop for