Model bahasa Gemma milik Google, yang dipangkas menjadi 28,9 juta parameter, kini dapat berjalan pada mikrokontroler ESP32-S3 yang dijual seharga sekitar $8. Seorang pengembang independen membangun bukti konsep (proof-of-concept) ini, menunjukkan bahwa LLM dengan fitur lengkap dapat hidup di perangkat keras yang cukup murah untuk disembunyikan di dalam gadget IoT apa pun.
Cara kerja trik ini
Alat kompresi Gemma memeras bobot (weights) dan grafik eksekusi model hingga muat di dalam RAM dan penyimpanan flash ESP32 yang terbatas, sebagaimana dijelaskan oleh sumber tersebut. Chip ini, yang menjadi favorit untuk sensor berbiaya rendah dan perangkat wearable, mengeksekusi model sepenuhnya secara offline—tanpa memerlukan koneksi cloud.
Mengapa hal ini memicu kekhawatiran bagi keamanan IoT
- Inferensi offline menjaga data tetap berada di perangkat, menghapus log di sisi server tetapi juga menghilangkan titik visibilitas bagi pihak pertahanan.
- Perangkat keras yang murah dan ada di mana-mana memungkinkan penyerang untuk menanamkan AI canggih ke dalam gadget yang menyatu dengan lingkungan konsumen atau industri biasa.
- Kelelahan patch dan pembaruan – perangkat ESP32 sering kali menjalankan firmware yang jarang diperbarui, mengubah modul AI yang rentan menjadi mimpi buruk logistik.
Potensi keuntungan dan penyeimbangnya
Menjalankan AI di edge melindungi privasi pengguna karena data sensor mentah tidak pernah dialirkan ke server. Namun, perisai privasi yang sama dapat disalahgunakan.
Apa langkah selanjutnya bagi pihak pertahanan
Kemampuan untuk menjalankan LLM dengan 28 juta parameter pada chip seharga $8 mengubah kemampuan yang dulunya hanya ada di cloud menjadi ancaman tersembunyi yang meresap luas. Organisasi harus memperlakukan edge AI sebagai garis depan keamanan, bukan sekadar kemudahan.