Google’s Sprachmodell Gemma, das auf 28,9 Millionen Parameter reduziert wurde, läuft nun auf einem ESP32-S3-Mikrocontroller, der für etwa 8 $ erhältlich ist. Ein unabhängiger Entwickler hat den Proof-of-Concept erstellt und damit gezeigt, dass ein voll funktionsfähiges LLM auf Hardware laufen kann, die günstig genug ist, um in jedem IoT-Gerät versteckt zu werden.

So funktioniert der Trick

Wie die Quelle erklärt, komprimieren Gemmas Komprimierungswerkzeuge die Gewichte und den Ausführungsgraph des Modells so weit, bis sie in den RAM und den bescheidenen Flash-Speicher des ESP32 passen. Der Chip, ein Favorit für kostengünstige Sensoren und Wearables, führt das Modell vollständig offline aus – eine Cloud-Verbindung ist nicht erforderlich.

Warum dies die IoT-Sicherheit beunruhigt

  • Offline-Inferenz hält Daten auf dem Gerät, wodurch serverseitige Protokolle gelöscht werden, aber auch ein Sichtbarkeitspunkt für Verteidiger wegfällt.
  • Günstige, allgegenwärtige Hardware ermöglicht es Angreifern, hochentwickelte KI in Gadgets einzubetten, die sich nahtlos in gewöhnliche Konsumgüter- oder Industrieumgebungen einfügen.
  • Patch- und Update-Müdigkeit – ESP32-Geräte nutzen oft Firmware, die selten aktualisiert wird, was ein anfälliges KI-Modul in einen logistischen Albtraum verwandelt.

Potenzielle Vorteile und das Gegenstück

Das Ausführen von KI am Edge schützt die Privatsphäre der Nutzer, da rohe Sensordaten niemals an einen Server gestreamt werden. Derselbe Schutzschild für die Privatsphäre kann jedoch missbraucht werden.

Wie es für Verteidiger weitergeht

Die Fähigkeit, ein LLM mit 28 Millionen Parametern auf einem 8-Dollar-Chip auszuführen, verwandelt eine einst rein cloudbasierte Funktion in eine verborgene, allgegenwärtige Bedrohung. Unternehmen müssen Edge-KI als eine neue Sicherheitsfront betrachten und nicht nur als Komfortfunktion.