Языковая модель Gemma от Google, урезанная до 28,9 млн параметров, теперь работает на микроконтроллере ESP32-S3, который стоит около 8 долларов. Независимый разработчик создал прототип (proof-of-concept), доказав, что полнофункциональная LLM может работать на оборудовании, достаточно дешевом, чтобы его можно было спрятать в любом IoT-устройстве.
Как это работает
Инструменты сжатия Gemma уменьшают веса модели и граф выполнения до тех пор, пока они не поместятся в оперативную память (RAM) и скромный объем флеш-памяти ESP32, как поясняется в источнике. Этот чип, популярный в производстве недорогих датчиков и носимых устройств, выполняет модель полностью автономно — без необходимости подключения к облаку.
Почему это вызывает опасения в сфере безопасности IoT
- Автономный вывод (Offline inference) позволяет хранить данные непосредственно на устройстве, что стирает логи на стороне сервера, но также лишает защитников возможности мониторинга.
- Дешевое и повсеместное оборудование позволяет злоумышленникам внедрять сложные системы ИИ в гаджеты, которые легко смешиваются с обычными потребительскими или промышленными устройствами.
- Усталость от патчей и обновлений — устройства на базе ESP32 часто работают на прошивках, которые редко обновляются, что превращает уязвимый модуль ИИ в логистический кошмар.
Потенциальные преимущества и обратная сторона
Запуск ИИ на периферии (edge computing) защищает конфиденциальность пользователей, так как необработанные данные с датчиков никогда не передаются на сервер. Однако этот же «щит конфиденциальности» может быть использован во вред.
Что делать защитникам
Возможность запускать LLM с 28 миллионами параметров на чипе за 8 долларов превращает технологию, которая раньше была доступна только в облаке, в скрытую и повсеместную угрозу. Организациям следует рассматривать периферийный ИИ (edge AI) как новый рубеж безопасности, а не просто как удобство.