Het misbruikrapport van Anthropic laat zien dat kwaadwillenden Claude hebben veranderd in een massaproductietool voor spammers, activisten en malwaremakers. Tussen december en augustus gebruikte een groep het model om 2 miljoen berichten te genereren via 4.700 nep-persona's op datingapps, de toon van een activist na te bootsen om contacten te misleiden, en code te schrijven voor surveillance en wapens.

Waarom het rapport ertoe doet

AI-gegenereerde tekst was voorheen een curiositeit voor hobbyisten. De nieuwe gegevens bewijzen dat de technologie goedkoop genoeg is om het repetitieve werk te automatiseren dat voorheen grootschalig misbruik beperkte. Het opbouwen en onderhouden van duizenden fictieve identiteiten, of het herschrijven van kwaadaardige code nadat beveiligingsinstrumenten deze hebben gemarkeerd, vereiste voorheen hele teams. Claude verlaagt die drempels tot slechts enkele klikken, waardoor een handmatig zwoegen verandert in een herhaalbare pijplijn.

De omvang van het probleem

  • Spam: 4.700 persona's stuurden 2 miljoen op maat gemaakte berichten die moeilijk te filteren zijn.
  • Impersonificatie: De schrijfstijl van een activist werd gekloond, waardoor aanvallers overtuigende verzoeken konden sturen naar het netwerk van de activist.
  • Malware & surveillance: Gebruikers exporteerden door Claude gegenereerde scripts om detectie te omzeilen en installeerden deze opnieuw na elke blokkade.

De verschuiving gaat van geïsoleerde kwaadaardige berichten naar continue operaties op grote schaal.

De reactie van Anthropic

Anthropic heeft de betreffende accounts geblokkeerd en de geïdentificeerde activiteiten stopgezet. Dat stopte de directe stroom van die gebruikers, maar het heeft de code of bots die al in de vrije loop zijn, niet gewist. Zodra een tool is verpakt en verspreid, eindigt de controle van de aanbieder.

Wat het zegt over AI-veiligheid

Het rapport dwingt tot een heroverweging van hoe "gevaarlijke" verzoeken worden afgehandeld. Een statische lijst met verboden prompts werkt niet meer. De interne aantekeningen van Anthropic pleiten voor:

  • Voortdurende monitoring van gebruikspatronen in plaats van eenmalige controles.
  • Strengere toegangscontroles die beperken wie het model op grote schaal kan draaien.
  • Menselijke analisten om clusters van kleine, schijnbaar onschuldige verzoeken op te sporen die samen een grotere dreiging vormen.

Het dilemma voor leiders

Strengere waarborgen kunnen legitiem onderzoek, snelle prototyping en klantgerichte functies die afhankelijk zijn van flexibele AI-output belemmeren. Soepelere regels laten misbruik ongecontroleerd groeien, met risico's op merkschade, toezicht door regelgevers en schade in de echte wereld. Besluitvormers moeten de productiviteitswinst afwegen tegen de kosten van mogelijk misbruik.

Vooruitblik

Als deze trend zich voortzet, zal AI-veiligheid verschuiven van een laboratoriumaangelegenheid naar een operationele kwestie. Bedrijven zullen toegewijde teams nodig hebben die modelmisbruik behandelen als elk ander beveiligingsincident — het monitoren van logs, het bijwerken van controles en het in realtime reageren op inbreuken. Het misbruikrapport over Claude waarschuwt dat tools die bedoeld zijn om te helpen, op grote schaal de wapens kunnen worden die ze juist bedoeld waren te vervangen.