Il modello linguistico Gemma di Google, ridotto a 28,9 milioni di parametri, ora gira su un microcontrollore ESP32-S3 che costa circa 8 dollari. Uno sviluppatore indipendente ha realizzato la prova di concetto, dimostrando che un LLM completo può risiedere su hardware sufficientemente economico da poter essere nascosto all'interno di qualsiasi dispositivo IoT.
Come funziona il trucco
Gli strumenti di compressione di Gemma comprimono i pesi del modello e il grafo di esecuzione finché non rientrano nella RAM e nella modesta memoria flash dell'ESP32, come spiega la fonte. Il chip, molto apprezzato per sensori low-cost e dispositivi indossabili, esegue il modello interamente offline, senza necessità di connessione al cloud.
Perché questo solleva allarmi per la sicurezza IoT
- L'inferenza offline mantiene i dati sul dispositivo, eliminando i log lato server ma rimuovendo anche un punto di visibilità per i difensori.
- L'hardware economico e ubiquitario consente agli attaccanti di integrare un'IA sofisticata in gadget che si mimetizzano in normali contesti consumer o industriali.
- Affaticamento da patch e aggiornamenti – i dispositivi ESP32 spesso eseguono firmware che vengono raramente aggiornati, trasformando un modulo IA vulnerabile in un incubo logistico.
Potenziali vantaggi e contrappesi
Eseguire l'IA on the edge protegge la privacy dell'utente poiché i dati grezzi dei sensori non vengono mai trasmessi a un server. Tuttavia, lo stesso scudo per la privacy può essere abusato.
Cosa attende i difensori
La capacità di eseguire un LLM da 28 milioni di parametri su un chip da 8 dollari trasforma una funzionalità un tempo limitata al cloud in una minaccia nascosta e pervasiva. Le organizzazioni devono considerare l'IA edge come una nuova frontiera della sicurezza, e non solo come una comodità.