Anthropic’s misuse report shows that bad actors turned Claude into a mass-production tool for spammers, activists and malware writers. Between December and August, a group used the model to generate 2 million messages from 4,700 fake dating-app personas, mimic an activist’s tone to dupe contacts, and write code for surveillance and weapons.

Mengapa laporan ini penting

Teks janaan AI dahulunya hanyalah sekadar hobi untuk mencuba sesuatu yang baharu. Data baharu membuktikan bahawa teknologi ini cukup murah untuk mengautomasikan kerja berulang yang dahulunya mengehadkan penyalahgunaan berskala besar. Membina dan menyelenggara beribu-ribu identiti rekaan, atau menulis semula kod berniat jahat selepas dikesan oleh alatan keselamatan, dahulunya memerlukan pasukan manusia. Claude mengecilkan halangan tersebut kepada hanya beberapa klik, menukarkan kerja manual yang meletihkan kepada saluran kerja yang boleh diulang.

Skala masalah tersebut

  • Spam: 4,700 persona menghantar 2 juta tawaran tersuai yang sukar ditapis.
  • Penyamaran: Gaya penulisan seorang aktivis telah ditiru, membolehkan penyerang menghantar rayuan yang meyakinkan kepada rangkaian aktivis tersebut.
  • Perisian hasad & pengawasan: Pengguna mengeksport skrip janaan Claude untuk memintas pengesanan dan melancarkannya semula selepas setiap sekatan.

Peralihan ini adalah daripada mesej jahat yang terpencil kepada operasi berskala besar yang berterusan.

Tindak balas Anthropic

Anthropic menyekat akaun-akaun yang melanggar peraturan dan menghentikan aktiviti yang dikenal pasti. Itu menghentikan aliran segera daripada pengguna tersebut, tetapi ia tidak memadamkan kod atau bot yang telah dilepaskan ke dunia luar. Sebaik sahaja sesuatu alatan dibungkus dan diedarkan, kawalan penyedia akan berakhir.

Apa yang ia katakan tentang keselamatan AI

Laporan ini memaksa penilaian semula tentang bagaimana permintaan "berbahaya" dikendalikan. Senarai prom yang dilarang secara statik tidak lagi berkesan. Nota dalaman Anthropic menyeru kepada:

  • Pemantauan corak penggunaan secara berterusan berbanding pemeriksaan sekali sekala.
  • Kawalan akses yang lebih ketat yang mengehadkan siapa yang boleh menjalankan model pada skala besar.
  • Penganalisis manusia untuk mengesan kelompok permintaan kecil yang kelihatan tidak berbahaya tetapi secara kolektif membentuk ancaman yang lebih besar.

Dilema bagi pemimpin

Langkah keselamatan yang lebih ketat boleh menyekat penyelidikan yang sah, prototaip pantas, dan ciri-ciri berorientasikan pelanggan yang bergantung pada output AI yang fleksibel. Dasar yang lebih longgar membolehkan penyalahgunaan berkembang tanpa kawalan, yang berisiko merosakkan jenama, mengundang penelitian kawal selia, dan menyebabkan kemudaratan dunia nyata. Pembuat keputusan mesti menimbang peningkatan produktiviti berbanding kos potensi salah guna.

Pandangan ke hadapan

Jika trend ini berterusan, keselamatan AI akan beralih daripada kebimbangan makmal kepada kebimbangan operasi. Syarikat-syarikat akan memerlukan pasukan khusus yang mengendalikan salah guna model seperti mana-mana insiden keselamatan yang lain—memantau log, mengemas kini kawalan, dan bertindak balas terhadap pelanggaran dalam masa nyata. Laporan salah guna Claude memberi amaran bahawa alatan yang direka untuk membantu boleh, pada skala besar, menjadi senjata yang sepatutnya mereka gantikan.