Mô hình ngôn ngữ Gemma của Google, được tinh chỉnh xuống còn 28,9 triệu tham số, hiện có thể chạy trên vi điều khiển ESP32-S3 với giá bán chỉ khoảng 8 USD. Một nhà phát triển độc lập đã xây dựng bản thử nghiệm (proof-of-concept), chứng minh rằng một LLM đầy đủ tính năng có thể tồn tại trên phần cứng đủ rẻ để ẩn mình bên trong bất kỳ thiết bị IoT nào.
Cách thức hoạt động của kỹ thuật này
Các công cụ nén của Gemma ép các trọng số (weights) và đồ thị thực thi (execution graph) của mô hình cho đến khi chúng vừa vặn với RAM và bộ nhớ flash khiêm tốn của ESP32, như nguồn tin giải thích. Con chip này, vốn là lựa chọn hàng đầu cho các cảm biến giá rẻ và thiết bị đeo, thực thi mô hình hoàn toàn ngoại tuyến — không cần kết nối đám mây.
Tại sao điều này lại gây báo động cho bảo mật IoT
- Suy luận ngoại tuyến (Offline inference) giữ dữ liệu ngay trên thiết bị, xóa bỏ các nhật ký (logs) phía máy chủ nhưng đồng thời cũng làm mất đi điểm quan sát của những người phòng thủ.
- Phần cứng rẻ tiền và phổ biến cho phép những kẻ tấn công nhúng AI tinh vi vào các thiết bị có thể trà trộn vào các môi trường tiêu dùng hoặc công nghiệp thông thường.
- Sự mệt mỏi vì vá lỗi và cập nhật – Các thiết bị ESP32 thường chạy firmware hiếm khi được làm mới, biến một mô-đun AI dễ bị tổn thương thành một cơn ác mộng về mặt hậu cần.
Lợi ích tiềm năng và sự đối trọng
Việc chạy AI tại biên (edge AI) giúp bảo vệ quyền riêng tư của người dùng vì dữ liệu cảm biến thô không bao giờ được truyền lên máy chủ. Tuy nhiên, chính lá chắn quyền riêng tư này cũng có thể bị lạm dụng.
Bước tiếp theo cho những người phòng thủ
Khả năng chạy một LLM 28 triệu tham số trên một con chip 8 USD đã biến một khả năng vốn chỉ dành cho đám mây thành một mối đe dọa tiềm ẩn và lan rộng. Các tổ chức phải coi AI tại biên là một ranh giới bảo mật, chứ không chỉ là một sự tiện lợi.