Google चे Gemma लँग्वेज मॉडेल, जे २८.९ दशलक्ष पॅरामीटर्सपर्यंत कमी करण्यात आले आहे, आता साधारण ८ डॉलर्समध्ये मिळणाऱ्या ESP32-S3 मायक्रोकंट्रोलरवर चालते. एका स्वतंत्र डेव्हलपरने याचा 'प्रूफ-ऑफ-कॉन्सेप्ट' तयार केला आहे, ज्यातून हे सिद्ध होते की एक पूर्ण-वैशिष्ट्यपूर्ण LLM इतक्या स्वस्त हार्डवेअरवर चालू शकते की ते कोणत्याही IoT गॅजेटमध्ये सहज लपवता येईल.
ही युक्ती कशी काम करते
स्त्रोत स्पष्ट केल्याप्रमाणे, Gemma ची कॉम्प्रेशन टूल्स मॉडेलचे वेट्स (weights) आणि एक्झिक्यूशन ग्राफ इतके आकुंचन पावतात की ते ESP32 च्या RAM आणि मर्यादित फ्लॅश स्टोरेजमध्ये बसू शकतात. कमी किमतीचे सेन्सर्स आणि वेअरेबल्ससाठी लोकप्रिय असलेले हे चिप मॉडेल पूर्णपणे ऑफलाइन चालवते—यासाठी क्लाउड कनेक्शनची आवश्यकता नसते.
यामुळे IoT सुरक्षेबाबत धोक्याची घंटा का वाजते
- ऑफलाइन इन्फरन्स (Offline inference) मुळे डेटा उपकरणावरच राहतो, ज्यामुळे सर्व्हर-साइड लॉग्स नष्ट होतात, परंतु यामुळे सुरक्षा रक्षकांसाठी (defenders) डेटा पाहण्याची संधीही संपते.
- स्वस्त आणि सर्वत्र उपलब्ध असलेले हार्डवेअर हल्लेखोरांना अशा गॅजेट्समध्ये प्रगत AI समाविष्ट करण्याची संधी देते, जे सामान्य ग्राहक किंवा औद्योगिक वातावरणात सहज मिसळून जातात.
- पॅच आणि अपडेटचा कंटाळा (Patch and update fatigue) – ESP32 उपकरणांमध्ये अनेकदा असे फर्मवेअर चालते जे क्वचितच अपडेट केले जाते, ज्यामुळे एक असुरक्षित AI मॉड्यूल लॉजिस्टिकदृष्ट्या दुस्वप्न बनू शकते.
संभाव्य फायदे आणि त्याचे तोलमापन
'एज'वर (edge) AI चालवल्यामुळे वापरकर्त्याची गोपनीयता सुरक्षित राहते कारण कच्चा सेन्सर डेटा कधीही सर्व्हरवर पाठवला जात नाही. मात्र, याच गोपनीयता संरक्षणाचा गैरवापर देखील केला जाऊ शकतो.
सुरक्षा रक्षकांसाठी पुढील पाऊल
८ डॉलर्सच्या चिपवर २८ दशलक्ष पॅरामीटर्स असलेले LLM चालवण्याची क्षमता, एकेकाळी केवळ क्लाउडपुरती मर्यादित असलेल्या क्षमतेला एक लपलेला आणि सर्वव्यापी धोका बनवते. संस्थांनी 'एज AI' कडे केवळ सोयीचे साधन म्हणून न पाहता, सुरक्षेच्या एका नवीन आघाडी (frontier) म्हणून पाहिले पाहिजे.