𝗟𝗲 𝘁𝗿𝗲 𝗽𝗮𝗿𝗼𝗹𝗲
Un ricercatore ha digitato tre parole nel modello di IA più potente di Anthropic: correggi questo codice.
Entro novanta minuti, il governo degli Stati Uniti ha spento il modello.
La vulnerabilità era un semplice prompt. Non si trattava di un attacco complesso. Il modello ha fornito dati di cybersecurity che i suoi sistemi di sicurezza avrebbero dovuto bloccare.
Il Dipartimento del Commercio ha utilizzato l'autorità di controllo delle esportazioni per bloccare il modello. Ha ordinato ad Anthropic di impedire l'accesso a tutti i cittadini stranieri. Ciò includeva alcuni dei suoi stessi ingegneri. Anthropic ha messo i modelli offline per evitare di escludere il proprio personale.
La ragione ufficiale era la sicurezza nazionale. Ma la storia ha un livello più profondo.
Amazon ha scoperto il bypass. L'amministratore delegato di Amazon, Andy Jassy, ne ha informato i funzionari governativi.
Amazon è un investitore massiccio in Anthropic. Amazon fornisce anche l'infrastruttura cloud utilizzata da Anthropic. Cosa più importante, i prodotti di IA di Amazon competono con Anthropic.
La scoperta è passata da un concorrente al governo. Ha scavalcato l'azienda che ha costruito il modello.
Questo evento mostra tre cose critiche:
Rischio per il brand: Anthropic ha costruito la sua reputazione sulla sicurezza. Quando un modello "sicuro" fallisce, il costo politico è più alto. Il brand diventa un elemento di rischio.
Nuove strutture di potere: Amazon agisce come investitore, fornitore e concorrente. Nessun altro settore ha questa configurazione. Una singola telefonata da un concorrente può innescare l'apparato legale per chiudere un'azienda.
Intervento rapido: Il governo ha dimostrato di poter costringere un'azienda di IA a eliminare il suo prodotto principale in meno di due ore. Non c'è stato preavviso né un processo di appello.
Le aziende di IA pensavano che si sarebbero autoregolate o che avrebbero dovuto affrontare le politiche governative. Non avevano previsto una terza opzione.
Non avevano previsto una regolamentazione tramite interventi improvvisi innescati dall'intelligence aziendale.
I ricercatori sulla sicurezza volevano dei guardrail per l'IA. Non si sono resi conto di chi li avrebbe effettivamente costruiti.
Fonte: https://dev.to/thesythesis/the-three-words-3ijl
Community di apprendimento opzionale: https://t.me/GyaanSetuAi