De drie woorden
Een onderzoeker typte drie woorden in het krachtigste AI-model van Anthropic: fix this code.
Binnen negentig minuten schakelde de Amerikaanse overheid het model uit.
De kwetsbaarheid was een eenvoudige prompt. Het was geen complexe aanval. Het model leverde cybersecuritygegevens die door de veiligheidssystemen geblokkeerd hadden moeten worden.
Het Ministerie van Handel gebruikte exportcontrolebevoegdheden om het model te stoppen. Ze bevalen Anthropic om alle buitenlandse onderdanen de toegang te ontzeggen. Dit omvatte ook enkele van de eigen ingenieurs van Anthropic. Anthropic haalde de modellen offline om te voorkomen dat het eigen personeel werd uitgesloten.
De officiële reden was nationale veiligheid. Maar het verhaal heeft een diepere laag.
Amazon ontdekte de omzeiling. Amazon-CEO Andy Jassy vertelde overheidsfunctionarissen hierover.
Amazon is een enorme investeerder in Anthropic. Amazon levert ook de cloudinfrastructuur die Anthropic gebruikt. Belangrijker nog: de eigen AI-producten van Amazon concurreren met Anthropic.
De bevinding ging van een concurrent naar de overheid. Het omzeilde het bedrijf dat het model had gebouwd.
Deze gebeurtenis laat drie cruciale zaken zien:
Merkreisico: Anthropic bouwde zijn reputatie op veiligheid. Wanneer een "veilig" model faalt, zijn de politieke kosten hoger. Het merk wordt een aansprakelijkheid.
Nieuwe machtsstructuren: Amazon fungeert als investeerder, leverancier en concurrent. Geen enkele andere sector heeft deze opzet. Eén telefoontje van een concurrent kan de juridische machinerie in gang zetten om een bedrijf plat te leggen.
Snelle interventie: De overheid bewees dat zij een AI-bedrijf kan dwingen om zijn belangrijkste product in minder dan twee uur uit de lucht te halen. Er was geen voorafgaande kennisgeving en geen beroepsprocedure.
AI-bedrijven dachten dat ze zichzelf zouden reguleren of te maken zouden krijgen met overheidsbeleid. Ze hadden geen rekening gehouden met een derde optie.
Ze hadden geen rekening gehouden met regulering door middel van plotselinge interventie, getriggerd door bedrijfsmatige inlichtingen.
Veiligheidsonderzoekers wilden vangrails voor AI. Ze realiseerden zich niet wie die vangrails daadwerkelijk zou bouwen.
Bron: https://dev.to/thesythesis/the-three-words-3ijl
Optionele leercommunity: https://t.me/GyaanSetuAi