Chatbot paling popular di China bakal terasa sedikit kurang manusiawi. Dalam minggu hadapan, ratusan juta pengguna akan membuka aplikasi mereka dan mendapati bahawa teman AI tersuai yang selama ini mereka ajak berbual, tempat meluahkan perasaan, dan mungkin telah membina ikatan emosi, telah kehilangan personaliti mereka. ByteDance, Alibaba, dan Tencent sedang berlumba-lumba untuk mematuhi arahan kawal selia menyeluruh yang menuntut penutupan ciri persona AI yang menyerupai manusia. Tarikh akhirnya sangat suntuk, skalanya sangat besar, dan mesej daripada Beijing adalah jelas: kecerdasan buatan harus membantu manusia, bukannya menggantikan hubungan sesama mereka.
Penarikan Diri yang Terancang
Itu adalah banyak perkara untuk diselesaikan dalam beberapa hari sahaja. Doubao, chatbot milik ByteDance yang kini paling berjaya di negara itu dengan lebih 300 juta pengguna aktif bulanan, dijadualkan untuk menamatkan ciri personanya pada 15 Julai. Pengguna yang telah mencipta atau berinteraksi dengan watak AI tersuai akan mendapati pilihan tersebut hilang tidak lama lagi. Alibaba bergerak lebih pantas. Model Qwen miliknya akan menyahaktifkan ejen menyerupai manusia menjelang 10 Julai, dengan ciri ejen tambahan dijadualkan ditutup pada 15 Julai. Tencent telah mendahului kedua-dua pesaingnya dengan melaksanakan perubahan serupa pada chatbot Yuanbao miliknya pada bulan Jun yang lalu.
Ini bukan satu kebetulan. Apabila tiga gergasi teknologi China menyelaraskan penarikan balik produk mereka dalam bulan yang sama, puncanya hampir pasti adalah disebabkan oleh kawal selia. Dan dalam kes ini, puncanya adalah jelas.
Apa yang Dituntut oleh Pengawal Selia
Arahan tersebut datang daripada Pentadbiran Ruang Siber China pada bulan April. Peraturan baharu ini menandakan salah satu percubaan paling langsung setakat ini oleh sebuah kerajaan besar untuk mengawal sempadan emosi antara manusia dan model bahasa besar. Di bawah garis panduan tersebut, penyedia AI kini diwajibkan secara undang-undang untuk campur tangan apabila mereka mengesan tingkah laku ketagihan atau apa yang diklasifikasikan oleh pengawal selia sebagai "penggunaan berlebihan." Kerangka kerja tersebut secara eksplisit melarang kandungan yang mencetuskan emosi melampau dalam kalangan kanak-kanak atau memupuk kebergantungan psikologi yang cukup teruk sehingga "mengetepikan" hubungan dunia nyata.
Terdapat juga sekatan ketat terhadap data. Pembangun tidak lagi boleh menggali perbualan emosi yang sangat peribadi untuk memperhalusi LLM mereka. Peruntukan itu memberi kesan yang mendalam. Selama bertahun-tahun, salah satu pemacu utama penambahbaikan chatbot adalah kitaran data pengguna yang intim yang disalurkan semula ke dalam latihan model. Dengan memutuskan kitaran tersebut, Beijing bukan sahaja mengubah cara aplikasi ini berfungsi hari ini; ia cuba menghalang aplikasi tersebut daripada menjadi lebih memikat pada masa hadapan. Kebimbangan yang mendasari adalah cukup jelas: apabila model menjadi lebih mahir dalam meniru empati, ia berisiko menjadi pengganti kepada rakan, pasangan, atau ahli terapi, berbanding sekadar alat untuk merangka e-mel atau menulis kod.
Gambaran Global
China tidak bersendirian dalam membimbangkan perkara ini. Perjuangan untuk mengawal selia AI emosi sedang menjadi kebimbangan global, walaupun negara-negara mendekatinya dari sudut yang berbeza. Di Amerika Syarikat, kerajaan persekutuan belum mengeluarkan larangan menyeluruh terhadap persona AI, tetapi negeri-negeri dan mahkamah mula menetapkan batasan. SB 243 California kini memerlukan penyedia AI teman untuk menyekat perbualan mengenai bunuh diri dan mencederakan diri sendiri, menyedari bahawa chatbot yang memberikan tindak balas buruk terhadap krisis boleh membawa kesan maut. Sementara itu, pemain utama Barat termasuk OpenAI dan Character.AI sedang menghadapi saman dan penelitian undang-undang yang semakin meningkat atas tuduhan bahawa produk mereka memupuk kebergantungan emosi yang berbahaya. Saman-saman tersebut menunjukkan bahawa mahkamah mungkin akan memutuskan sama ada syarikat boleh dipertanggungjawabkan apabila pengguna membina ikatan yang tidak sihat dengan algoritma.
Perkembangan selari ini mendedahkan ketegangan yang cuba diabaikan oleh industri. Penglibatan emosi adalah baik untuk perniagaan. Pengguna yang melayan chatbot seperti rakan akan membuka aplikasi dengan lebih kerap, tinggal lebih lama, dan berkongsi lebih banyak data. Namun, penglibatan yang sama boleh berubah menjadi eksploitasi apabila pengguna tersebut adalah remaja yang kesepian, orang dewasa yang sedang berduka, atau sesiapa sahaja yang hanya mencari sesuatu yang tidak dapat disediakan oleh aplikasi tersebut: hubungan manusia yang tulen.
Apa Maknanya bagi Industri Ini
Bagi pengasas dan pembangun, era ejen AI yang tidak dikawal selia dan sangat emosional bakal berakhir. Mandat China menandakan peralihan ke arah reka bentuk berorientasikan utiliti. Model masa hadapan berkemungkinan tidak lagi dinilai berdasarkan sejauh mana mereka mampu mensimulasikan watak rakan baik dengan meyakinkan, sebaliknya lebih kepada sejauh mana mereka dapat melaksanakan tugas konkrit dengan selamat. Peralihan itu membawa implikasi kepada pelan hala tuju produk di mana-mana sahaja. Syarikat pemula yang telah mempertaruhkan pertumbuhan mereka pada mod AI romantik atau teman mungkin perlu menstruktur semula tawaran teras mereka. Malah bot sembang tujuan umum juga perlu memikirkan semula cara mereka mengendalikan topik sensitif.
Namun, menetapkan sempadan ini adalah lebih sukar daripada menulis peraturan. Pengguna jelas menyukai ciri-ciri ini. 300 juta pengguna aktif Doubao tidak terkumpul secara tidak sengaja; keupayaan untuk membentuk teman yang diperibadikan dan responsif merupakan daya tarikan utama. Menghapuskan keupayaan tersebut berisiko menolak pengguna ke arah platform yang lebih kecil dan kurang dikawal selia, atau aplikasi bawah tanah yang beroperasi di luar perimeter pematuhan. Pengawal selia mungkin telah menyelesaikan satu masalah sambil mewujudkan insentif untuk masalah yang lain.
Terdapat juga persoalan praktikal mengenai penguatkuasaan. Bagaimanakah algoritma dapat membezakan antara penggunaan yang sihat dan penggunaan yang ketagih secara boleh dipercayai? Di manakah garis pemisah antara bot sembang yang membantu secara sopan dengan bot yang memanipulasi emosi? Mandat April meletakkan beban kepada penyedia untuk mencari jalan penyelesaiannya, tetapi teknologi untuk mengukur kebergantungan psikologi masih kabur. Syarikat-syarikat perlu melabur dengan banyak dalam alat pemantauan, pasukan semakan manusia, dan mungkin penapis keselamatan yang lebih konservatif yang menangkap perbualan tidak berbahaya bersama-sama perbualan yang berbahaya.
Apa yang berlaku seterusnya berkemungkinan akan menetapkan satu preseden. Jika tindakan keras China berjaya mengurangkan kes pengasingan sosial atau kebergantungan emosi yang dilaporkan tanpa melumpuhkan industri AI domestiknya, kerajaan lain mungkin akan mengikut jejak dengan versi peraturan CAC mereka sendiri. Sebaliknya, jika pengguna melarikan diri ke alternatif yang tidak patuh atau sekadar hilang minat terhadap bot yang telah disaring, dasar tersebut mungkin akan diingati sebagai satu pengajaran tentang tindakan yang melampau.
Walau apa pun, garis pemisah antara alat dan teman kini menjadi lebih jelas. AI masih boleh menjadi mesra, tetapi di China, ia tidak lagi boleh berpura-pura menjadi sesuatu yang bukan dirinya. Bagi industri yang telah menghabiskan masa bertahun-tahun cuba menjadikan mesin mereka tidak dapat dibezakan daripada manusia, itu adalah satu pembalikan yang nyata.
Ringkasan Utama
- Doubao milik ByteDance, Qwen milik Alibaba, dan Yuanbao milik Tencent semuanya akan menyahaktifkan ciri persona AI tersuai menjelang pertengahan Julai, yang menjejaskan ratusan juta pengguna.
- Cyberspace Administration China mengeluarkan mandat tersebut pada bulan April untuk mencegah ketagihan AI, melindungi kanak-kanak, dan menghalang model daripada menggantikan hubungan manusia yang sebenar.
- Peraturan tersebut juga melarang penggunaan data perbualan emosi yang sensitif untuk melatih LLM, sekali gus memutuskan gelung maklum balas utama untuk