ഗൂഗിളിന്റെ Gemma ലാംഗ്വേജ് മോഡൽ, 28.9 മില്യൺ പാരാമീറ്ററുകളിലേക്ക് ചുരുക്കിയ ശേഷം, ഏകദേശം 8 ഡോളർ വിലയുള്ള ഒരു ESP32-S3 മൈക്രോകൺട്രോളറിൽ ഇപ്പോൾ പ്രവർത്തിക്കുന്നു. ഒരു സ്വതന്ത്ര ഡെവലപ്പർ ആണ് ഇതിന്റെ പ്രൂഫ്-ഓഫ്-കോൺസെപ്റ്റ് നിർമ്മിച്ചത്; ഏതൊരു IoT ഗാഡ്‌ജെറ്റിനുള്ളിലും ഒളിപ്പിച്ചു വെക്കാൻ പാകത്തിലുള്ള കുറഞ്ഞ ചിലവുള്ള ഹാർഡ്‌വെയറിൽ പോലും ഒരു ഫുൾ-ഫീച്ചേർഡ് LLM പ്രവർത്തിപ്പിക്കാൻ കഴിയുമെന്ന് ഇത് തെളിയിക്കുന്നു.

ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു

സ്രോതസ്സ് വിശദീകരിക്കുന്നതനുസരിച്ച്, Gemma-യുടെ കംപ്രഷൻ ടൂളുകൾ മോഡലിന്റെ വെയ്റ്റുകളും (weights) എക്സിക്യൂഷൻ ഗ്രാഫും ESP32-യുടെ RAM-ലേക്കും പരിമിതമായ ഫ്ലാഷ് സ്റ്റോറേജ് ശേഷിക്കുള്ളിലേക്കും ഒതുങ്ങുന്ന രീതിയിൽ ചുരുക്കുന്നു. കുറഞ്ഞ ചിലവിലുള്ള സെൻസറുകൾക്കും വെയറബിൾ ഉപകരണങ്ങൾക്കുമായി വ്യാപകമായി ഉപയോഗിക്കുന്ന ഈ ചിപ്പ്, ക്ലൗഡ് കണക്ഷൻ ഇല്ലാതെ തന്നെ മോഡലിനെ പൂർണ്ണമായും ഓഫ്‌ലൈനായി പ്രവർത്തിപ്പിക്കുന്നു.

ഇത് എന്തുകൊണ്ട് IoT സുരക്ഷയെ ആശങ്കപ്പെടുത്തുന്നു

  • ഓഫ്‌ലൈൻ ഇൻഫറൻസ് (Offline inference) ഡാറ്റാ ഉപകരണത്തിൽ തന്നെ സൂക്ഷിക്കുന്നു, ഇത് സെർവർ സൈഡ് ലോഗുകൾ ഇല്ലാതാക്കുന്നുണ്ടെങ്കിലും സുരക്ഷാ ഉദ്യോഗസ്ഥർക്ക് ഡാറ്റ നിരീക്ഷിക്കാനുള്ള അവസരവും ഇല്ലാതാക്കുന്നു.
  • കുറഞ്ഞ ചിലവിലുള്ളതും എല്ലായിടത്തും കാണപ്പെടുന്നതുമായ ഹാർഡ്‌വെയറുകൾ, സാധാരണ ഉപഭോക്തൃ അല്ലെങ്കിൽ വ്യവസായ സാഹചര്യങ്ങളിൽ പെട്ടെന്ന് തിരിച്ചറിയാൻ കഴിയാത്ത രീതിയിൽ സങ്കീർണ്ണമായ AI സാങ്കേതികവിദ്യ ഗാഡ്‌ജെറ്റുകളിൽ ഉൾപ്പെടുത്താൻ ആക്രമണകാരികളെ സഹായിക്കുന്നു.
  • പാച്ച് ആൻഡ് അപ്‌ഡേറ്റ് തളർച്ച (Patch and update fatigue) – ESP32 ഉപകരണങ്ങളിൽ പലപ്പോഴും അപൂർവ്വമായി മാത്രം പുതുക്കപ്പെടുന്ന ഫേംവെയറുകളാണ് പ്രവർത്തിക്കുന്നത്, ഇത് ഒരു ദുർബലമായ AI മോഡ്യൂളിനെ കൈകാര്യം ചെയ്യാൻ പ്രയാസമുള്ള ഒരു വെല്ലുവിളിയാക്കി മാറ്റുന്നു.

ഗുണങ്ങളും തിരിച്ചടിയും

എഡ്ജ് (edge) ഡിവൈസുകളിൽ AI പ്രവർത്തിപ്പിക്കുന്നത് ഉപയോക്താവിന്റെ സ്വകാര്യത സംരക്ഷിക്കുന്നു, കാരണം സെൻസർ ഡാറ്റ ഒരിക്കലും ഒരു സെർവറിലേക്ക് അയക്കപ്പെടുന്നില്ല. എന്നാൽ, ഇതേ സ്വകാര്യതാ സംരക്ഷണം ദുരുപയോഗം ചെയ്യപ്പെടാനും സാധ്യതയുണ്ട്.

സുരക്ഷാ ഉദ്യോഗസ്ഥർ ഇനി എന്ത് ചെയ്യണം?

8 ഡോളർ വിലയുള്ള ഒരു ചിപ്പിൽ 28 മില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു LLM പ്രവർത്തിപ്പിക്കാനുള്ള കഴിവ്, മുമ്പ് ക്ലൗഡിൽ മാത്രം പരിമിതമായിരുന്ന സാങ്കേതികവിദ്യയെ ഒളിഞ്ഞിരിക്കുന്നതും വ്യാപകമായതുമായ ഒരു ഭീഷണിയാക്കി മാറ്റുന്നു. സ്ഥാപനങ്ങൾ എഡ്ജ് AI-യെ വെറുമൊരു സൗകര്യമായി കാണാതെ, സുരക്ഷാ രംഗത്തെ ഒരു പുതിയ അതിർത്തിയായി കാണേണ്ടതുണ്ട്.