De populairste chatbots van China gaan zich binnenkort een stuk minder menselijk voelen. In de loop van de komende week zullen honderden miljoenen gebruikers hun apps openen en ontdekken dat de aangepaste AI-metgezellen met wie ze hebben gechat, hun geheimen hebben gedeeld en waar ze misschien zelfs een band mee hebben opgebouwd, hun persoonlijkheid zijn verloren. ByteDance, Alibaba en Tencent racen om te voldoen aan een ingrijpend regelgevend bevel dat de uitschakeling van mensachtige AI-persona-functies eist. De deadlines zijn krap, de schaal is enorm en de boodschap uit Beijing is onmiskenbaar: kunstmatige intelligentie moet mensen ondersteunen, niet de relaties die zij met elkaar hebben vervangen.

Een gecoördineerde terugtocht

Dat is veel om in een paar dagen te proppen. Doubao, de chatbot van ByteDance en momenteel de meest succesvolle in het land met meer dan 300 miljoen maandelijks actieve gebruikers, staat gepland om zijn persona-functie op 15 juli offline te halen. Gebruikers die op maat gemaakte AI-personages hadden aangemaakt of waarmee ze hadden geïnteracteerd, zullen merken dat deze opties binnenkort verdwenen zijn. Alibaba gaat nog sneller. Het Qwen-model zal mensachtige agenten uitschakelen voor 10 juli, waarbij aanvullende agent-functies tegen 15 juli uit de lucht zullen gaan. Tencent was beide concurrenten al voor door in juni soortgelijke wijzigingen door te voeren in de Yuanbao-chatbot.

Dit is geen toeval. Wanneer drie van de Chinese techreuzen hun productterugtrekkingen binnen dezelfde maand synchroniseren, is de oorzaak vrijwel zeker regelgeving. En in dit geval is de bron expliciet.

Wat de toezichthouders eisen

De richtlijnen kwamen in april van de Cyberspace Administration van China. De nieuwe regels markeren een van de meest directe pogingen tot nu toe door een grote overheid om de emotionele grens tussen mensen en grote taalmodellen (LLM's) te bewaken. Onder de richtlijnen zijn AI-aanbieders nu wettelijk verplicht in te grijpen wanneer zij verslavend gedrag detecteren of wat toezichthouders classificeren als "excessief gebruik". Het kader verbiedt expliciet inhoud die extreme emoties bij minderjarigen oproept of psychologische afhankelijkheden voedt die ernstig genoeg zijn om echte relaties in de fysieke wereld te "verdringen".

Er is ook een strikte beperking op data. Ontwikkelaars mogen geen zeer persoonlijke, emotionele gesprekken meer gebruiken om hun LLM's te verfijnen. Die bepaling raakt de kern. Jarenlang was een van de stille motoren achter de verbetering van chatbots de lus van intieme gebruikersgegevens die terugvloeiden in de training van modellen. Door die lus door te snijden, verandert Beijing niet alleen hoe deze apps zich vandaag gedragen; het probeert te voorkomen dat ze morgen verleidelijker worden. De onderliggende angst is duidelijk genoeg: naarmate modellen beter worden in het nabootsen van empathie, lopen ze het risico vervangers te worden voor vrienden, partners of therapeuten, in plaats van hulpmiddelen voor het opstellen van e-mails of het schrijven van code.

Het wereldwijde plaatje

China is niet de enige die zich hier zorgen over maakt. De strijd om emotionele AI te reguleren wordt een wereldwijde bezigheid, ook al benaderen landen dit vanuit verschillende invalshoeken. In de Verenigde Staten heeft de federale overheid geen algemeen verbod op AI-persona's uitgevaardigd, maar staten en rechtbanken beginnen wel grenzen te trekken. De SB 243 van Californië vereist nu dat aanbieders van AI-metgezellen gesprekken over zelfmoord en zelfbeschadiging blokkeren, in het besef dat een chatbot die slecht reageert op een crisis dodelijke gevolgen kan hebben. Ondertussen worden grote westerse spelers, waaronder OpenAI en Character.AI, geconfronteerd met rechtszaken en toenemende juridische controle vanwege beschuldigingen dat hun producten gevaarlijke emotionele afhankelijkheid in de hand werken. De rechtszaken suggereren dat rechtbanken binnenkort kunnen beslissen of bedrijven aansprakelijk kunnen worden gehouden wanneer gebruikers ongezonde hechting ontwikkelen aan algoritmen.

Deze parallelle ontwikkelingen onthullen een spanning die de industrie heeft geprobeerd te negeren. Emotionele betrokkenheid is goed voor de business. Een gebruiker die een chatbot als een vriend behandelt, opent de app vaker, blijft langer en deelt meer gegevens. Maar diezelfde betrokkenheid kan vervagen tot exploitatie wanneer de gebruiker een eenzame tiener is, een rouwende volwassene, of simpelweg iemand die op zoek is naar iets wat de app feitelijk niet kan bieden: oprechte menselijke verbinding.

Wat dit betekent voor de sector

Voor oprichters en ontwikkelaars loopt het tijdperk van ongereguleerde, hoogst emotionele AI-agenten ten einde. Het Chinese mandaat signaleert een verschuiving naar een ontwerp dat gericht is op nut. Toekomstige modellen zullen waarschijnlijk minder worden beoordeeld op hoe overtuigend ze een beste vriend simuleren, en meer op hoe veilig ze concrete taken uitvoeren. Die verschuiving heeft gevolgen voor productroadmaps overal ter wereld. Startups die hun groei hebben ingezet op romantische of als metgezel dienende AI-modi, moeten mogelijk hun kernaanbod herstructureren. Zelfs algemene chatbots zullen opnieuw moeten nadenken over hoe ze met gevoelige onderwerpen omgaan.

Toch is het opleggen van deze grenzen moeilijker dan het schrijven van de regels. Gebruikers hebben duidelijk van deze functies gehouden. De 300 miljoen actieve gebruikers van Doubao zijn niet per ongeluk zo'n groot aantal geworden; het vermogen om een gepersonaliseerde, responsieve metgezel te creëren was een grote trekpleister. Het verwijderen van die mogelijkheid brengt het risico met zich mee dat gebruikers worden weggejaagd naar kleinere, minder gereguleerde platforms of illegale apps die buiten het kader van naleving opereren. Toezichthouders hebben mogelijk één probleem opgelost, terwijl ze tegelijkertijd een prikkel voor een ander probleem hebben gecreëerd.

Er is ook de praktische vraag van handhaving. Hoe onderscheidt een algoritme betrouwbaar tussen gezond gebruik en verslavend gebruik? Waar ligt de grens tussen een chatbot die beleefd behulpzaam is en een die emotioneel manipulatief is? De mandaten van april leggen de verantwoordelijkheid bij de aanbieders om dit uit te zoeken, maar de technologie om psychologische afhankelijkheid te meten is nog onduidelijk. Bedrijven zullen zwaar moeten investeren in monitoringtools, teams voor menselijke beoordeling en waarschijnlijk in conservatievere veiligheidsfilters die ook onschuldige gesprekken onderscheppen naast schadelijke.

Wat er nu gebeurt, zal waarschijnlijk een precedent scheppen. Als de harde aanpak van China erin slaagt om gerapporteerde gevallen van sociale isolatie of emotionele afhankelijkheid te verminderen zonder de binnenlandse AI-industrie te verpletteren, kunnen andere overheden volgen met hun eigen versies van de CAC-regels. Als gebruikers in plaats daarvan vluchten naar niet-conforme alternatieven of simpelweg hun interesse verliezen in gesaneerde bots, kan het beleid worden herinnerd als een waarschuwend voorbeeld van overregulering.

Hoe dan ook, de grens tussen hulpmiddel en metgezel is zojuist duidelijker geworden. AI kan nog steeds vriendelijk zijn, maar in China kan het niet langer doen alsof het iemand anders is. Voor een industrie die jarenlang heeft geprobeerd haar machines ononderscheidbaar van mensen te maken, is dat een fundamentele ommekeer.

Belangrijkste conclusies

  • Doubao van ByteDance, Qwen van Alibaba en Yuanbao van Tencent schakelen medio juli allemaal aangepaste AI-persona-functies uit, wat gevolgen heeft voor honderden miljoenen gebruikers.
  • De Cyberspace Administration van China vaardigde de mandaten in april uit om AI-verslaving te voorkomen, minderjarigen te beschermen en te voorkomen dat modellen echte menselijke relaties vervangen.
  • De regels verbieden ook het gebruik van gevoelige emotionele gesprekgegevens om LLM's te trainen, waardoor een belangrijke feedbackloop voor