272 esperti hanno indicato i rischi. Nessuno ha indicato i meccanismi.
Uno studio del MIT ha intervistato 272 esperti globali. Hanno esaminato i rischi dell'IA. I risultati sono chiari.
18 aree di rischio dell'IA su 24 hanno almeno il 10% di probabilità di esiti catastrofici entro cinque anni.
In questo contesto, catastrofe significa:
- Oltre un milione di morti.
- Oltre 100 miliardi di dollari di danni.
- Il collasso delle norme democratiche.
I rischi maggiori sono le capacità pericolose, le dinamiche competitive, le armi, la centralizzazione del potere e la disinformazione.
Lo studio rivela un divario di responsabilità. Le persone che subiscono i rischi dell'IA sono il pubblico. Le persone che possono risolvere i rischi sono gli sviluppatori e i regolatori. In altri settori, come l'aviazione o l'energia nucleare, utilizziamo standard obbligatori e la responsabilità civile per colmare questo divario. Nell'IA, questi meccanismi non esistono ancora.
C'è un divario ancora più profondo. Si trova tra i ricercatori che prevedono i fallimenti e gli ingegneri che costruiscono i sistemi.
I ricercatori scrivono articoli scientifici. Gli ingegneri leggono post sui blog e benchmark. Non parlano la stessa lingua. Un ingegnere vede un aumento delle prestazioni. Un ricercatore vede un rischio catastrofico. Non c'è alcun ponte tra loro.
Lo studio indica i rischi, ma non indica i fallimenti ingegneristici che li causano.
Per esempio:
- Rischi multi-agente: la mancanza di protocolli condivisi porta a collisioni di sistema.
- Dinamiche competitive: la fretta di rilasciare i prodotti spinge i team a saltare la verifica indipendente. Utilizzano invece l'autoverifica, che è più veloce ma non sicura.
- Vulnerabilità di sicurezza: i team utilizzano gli LLM per scansionare il codice, ma trascurano i rischi di configurazione e infrastruttura.
Un sistema stabile ha bisogno di cinque parti:
- Uno Strumento (il modello).
- Un Motore (l'intento dichiarato).
- Una Trasmissione (contratti e CI/CD).
- Un'Unità di Controllo (un oracolo indipendente).
- Un Involucro (confini imposti).
La maggior parte dei sistemi di IA manca dell'Unità di Controllo e dell'Involucro. Si affidano a guardrail volontari. Questi guardrail spesso si dissolvono man mano che i modelli migliorano.
L'industria considera una probabilità del 10% di catastrofe come un rischio accettabile. Non lo è. L'azione volontaria degli sviluppatori non è sufficiente. La competizione crea un incentivo a saltare i passaggi di sicurezza.
Abbiamo bisogno di un'applicazione meccanica, non solo di consigli. Dobbiamo colmare il divario tra la ricerca sui rischi e la pratica ingegneristica prima che si verifichino i fallimenti previsti.
Fonte: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb
Comunità di apprendimento opzionale: https://t.me/GyaanSetuAi