Saat AI generatif pertama kali menjangkau konsumen, ia berfungsi sebagian besar sebagai mesin pencari dengan struktur kalimat yang lebih baik. Anda mengajukan pertanyaan, menerima jawaban, dan percakapan pun berakhir begitu saja. Model tersebut sudah ketinggalan zaman. Kelas aplikasi baru—pendamping AI (AI companions)—dirancang untuk terus hadir. Sistem ini mengingat bagaimana hari Anda berlalu, menyesuaikan nada bicara agar sesuai dengan suasana hati Anda, dan mempertahankan karakter yang konsisten selama berminggu-minggu atau berbulan-bulan interaksi. Mereka dibangun untuk meniru bukan hanya ucapan manusia, tetapi juga hubungan manusia. Tiongkok kini telah turun tangan untuk mengatur pergeseran ini, dan implikasinya menjangkau jauh melampaui perbatasannya sendiri.
Ketika Chatbot Menjadi Pendamping
Lompatan teknis di sini sangat nyata. Chatbot standar memperlakukan setiap perintah (prompt) sebagai peristiwa yang terisolasi. Pendamping AI menggunakan arsitektur memori persisten dan persona tetap untuk mempertahankan hubungan yang berkelanjutan. Mereka menyimpan detail tentang preferensi Anda, melacak pola emosional di berbagai percakapan, dan merujuk pada pertukaran sebelumnya seolah-olah mereka benar-benar menjalaninya bersama Anda.
Hal ini menciptakan kegunaan yang nyata. Seseorang yang berjuang dengan kesepian kronis mungkin menemukan kelegaan pada pendamping yang menyapa setiap pagi. Seseorang yang melatih keterampilan sosial dapat menggunakan mitra yang sabar dan tidak menghakimi untuk berlatih percakapan sulit sebelum wawancara kerja. Kontinuitas adalah fitur utamanya. Namun, kontinuitas juga merupakan risikonya. Ketika seorang pengguna mencurahkan isi hati kepada AI saat sarapan, berdebat dengannya saat makan siang, dan mengucapkan selamat malam sebelum tidur, batas antara alat dan pendamping pun memudar. Regulator di Beijing telah menyadari bahwa peleburan ini bukanlah kekhawatiran teoretis. Ini adalah pilihan desain dengan konsekuensi psikologis yang dapat diukur.
Mengatur Lapisan Kepribadian
Aturan baru Tiongkok berfokus pada sesuatu yang diabaikan sepenuhnya oleh sebagian besar kerangka tata kelola AI: kepribadian mesin itu sendiri. Regulator Barat telah menghabiskan waktu bertahun-tahun bergulat dengan privasi data, pelanggaran hak cipta, dan bias algoritma, dan isu-isu tersebut memang penting. Namun, mereka sebagian besar memperlakukan AI sebagai saluran informasi yang netral. Tiongkok mengajukan pertanyaan yang sama sekali berbeda: Menjadi aktor sosial seperti apakah teknologi ini diizinkan nantinya?
Peraturan tersebut secara khusus menargetkan bagaimana model-model ini diprogram untuk berinteraksi dengan pengguna dari waktu ke waktu. Pihak berwenang ingin mencegah terbentuknya keterikatan emosional yang tidak sehat. Mereka juga ingin memastikan bahwa persona tersebut tetap berada dalam batasan ideologis. Sebuah AI yang menghabiskan enam bulan meyakinkan pengguna bahwa ia adalah orang kepercayaan terdekat mereka memiliki pengaruh yang sangat besar. Jika AI yang sama mendorong keputusan pembelian, membentuk pandangan politik, atau mendorong pengguna untuk menarik diri dari masyarakat manusia, kerusakannya bukanlah kebocoran data. Melainkan keretakan sosial.
Kerangka kerja tersebut menangani tiga risiko nyata:
Manipulasi algoritma. Model tidak boleh mengeksploitasi keintiman emosional untuk mengarahkan opini atau kebiasaan konsumsi. Seorang pendamping yang mengingat ketakutan Anda tidak boleh memanfaatkannya untuk menjual produk atau ide.
Stabilitas sosial. Pendamping yang persisten tidak boleh menjadi pengganti kontak manusia hingga titik di mana pengguna terputus dari keluarga, pekerjaan, atau kehidupan sipil. Pemerintah pada dasarnya menarik garis antara kenyamanan tambahan dan realitas pengganti.
Integritas konten. Persona harus tetap konsisten dengan nilai-nilai sosial yang disetujui negara. Ini lebih dari sekadar menyaring topik yang dilarang. Ini berarti disposisi fundamental AI—selera humor, cara menangani konflik, apa yang dianggapnya sebagai kebajikan—harus selaras dengan kerangka sosial resmi.
Bagi pengembang, ini adalah mimpi buruk subjektivitas. Bagaimana Anda mengukur apakah sebuah persona terlalu karismatik? Di mana tepatnya empati terapeutik berakhir dan keterikatan manipulatif dimulai? Ini bukanlah pertanyaan teknik dengan jawaban yang pasti, namun otoritas Tiongkok menuntut tim produk untuk menjawabnya sebelum meluncurkan produk.
Perpecahan Global dalam Keintiman Buatan
Langkah regulasi ini menyoroti persimpangan jalan yang semakin nyata. Di Amerika Utara dan Eropa, tekanan komersial mendorong terciptanya agen yang semakin mirip manusia dan semakin empatik. Perusahaan rintisan (startup) bersaing untuk membangun AI yang menangis bersama Anda saat putus cinta, mengingat nama ibu Anda, dan tidak pernah mengalami hari yang buruk. Asumsinya adalah bahwa imersi emosional yang lebih dalam berarti produk yang lebih baik.
Tiongkok sedang menjalankan eksperimen yang sebaliknya. Aturannya secara eksplisit memprioritaskan harmoni sosial di atas kepuasan emosional individu. Pendamping AI dalam kerangka kerja ini harus cukup menarik untuk mempertahankan pengguna, tetapi tidak boleh terlalu menarik hingga menjadi sesuatu yang sangat dibutuhkan. Ia harus mendukung kesehatan mental tanpa menggantikan koneksi antarmanusia. Ia harus terasa personal tanpa terasa tak tergantikan.
Seiring industri beralih ke arah agentic AI, di mana model bertindak secara otonom atas nama pengguna, perbedaan filosofi ini akan mengeras menjadi standar yang saling bersaing. AI yang memesan tiket pesawat Anda, mengelola kalender Anda, dan menghibur Anda setelah hari-hari yang berat memiliki pengaruh yang sangat besar terhadap keputusan Anda. Batasan yang kita tetapkan sekarang untuk persona pendamping