Google ನ Gemma language model ಅನ್ನು 28.9 ಮಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳಿಗೆ ಕಡಿತಗೊಳಿಸಲಾಗಿದ್ದು, ಇದು ಈಗ ಸುಮಾರು $8 ಬೆಲೆಯ ESP32-S3 microcontroller ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ. ಒಬ್ಬ ಸ್ವತಂತ್ರ ಡೆವಲಪರ್ ಇದರ proof-of-concept ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದಾರೆ, ಇದು ಪೂರ್ಣ ಪ್ರಮಾಣದ LLM ಅನ್ನು ಯಾವುದೇ IoT gadget ಒಳಗೆ ಅಡಗಿಸಿಡಬಹುದಾದ ಅಗ್ಗದ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಇರಿಸಬಹುದು ಎಂದು ತೋರಿಸುತ್ತದೆ.
ಈ ತಂತ್ರವು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ
ಮೂಲವು ವಿವರಿಸುವಂತೆ, Gemma ನ compression tools ಮಾಡೆಲ್ನ weights ಮತ್ತು execution graph ಅನ್ನು ESP32 ನ RAM ಮತ್ತು ಸಾಧಾರಣ flash storage ಗೆ ಹೊಂದಿಕೆಯಾಗುವವರೆಗೆ ಕುಗ್ಗಿಸುತ್ತವೆ. ಕಡಿಮೆ ಬೆಲೆಯ sensors ಮತ್ತು wearables ಗಳಿಗೆ ಜನಪ್ರಿಯವಾಗಿರುವ ಈ chip, ಮಾಡೆಲ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ offline ನಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ—ಇದಕ್ಕೆ cloud connection ಅಗತ್ಯವಿಲ್ಲ.
ಇದು IoT security ಗಾಗಿ ಎಚ್ಚರಿಕೆ ಏಕೆ ನೀಡುತ್ತದೆ
- Offline inference ದತ್ತಾಂಶವನ್ನು ಸಾಧನದಲ್ಲೇ ಇರಿಸಿಕೊಳ್ಳುತ್ತದೆ, ಇದು server-side logs ಅನ್ನು ಅಳಿಸಿಹಾಕುತ್ತದೆ ಆದರೆ ರಕ್ಷಣೆದಾರರಿಗೆ (defenders) ದತ್ತಾಂಶವನ್ನು ಗಮನಿಸಲು ಇರುವ ಅವಕಾಶವನ್ನೂ ಇಲ್ಲವಾಗಿಸುತ್ತದೆ.
- ಅಗ್ಗದ, ಎಲ್ಲೆಡೆ ಲಭ್ಯವಿರುವ hardware ದಾಳಿಕೋರರು ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ ಅಥವಾ ಕೈಗಾರಿಕಾ ಪರಿಸರದಲ್ಲಿ ಬೆರೆತುಹೋಗುವ gadget ಗಳಲ್ಲಿ ಅತ್ಯಾಧುನಿಕ AI ಅನ್ನು ಅಳವಡಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
- Patch and update fatigue – ESP32 ಸಾಧನಗಳು ಹೆಚ್ಚಾಗಿ ಅಪರೂಪವಾಗಿ ಅಪ್ಡೇಟ್ ಆಗುವ firmware ಅನ್ನು ಹೊಂದಿರುತ್ತವೆ, ಇದು ದುರ್ಬಲ AI module ಅನ್ನು ಒಂದು ನಿರ್ವಹಣಾತ್ಮಕ ಸವಾಲಾಗಿ ಪರಿಣಮಿಸುತ್ತದೆ.
ಸಂಭಾವ್ಯ ಲಾಭ ಮತ್ತು ಅದರ ವಿರುದ್ಧದ ಅಂಶಗಳು
Edge ನಲ್ಲಿ AI ಅನ್ನು ಚಲಾಯಿಸುವುದು ಬಳಕೆದಾರರ ಗೌಪ್ಯತೆಯನ್ನು ರಕ್ಷಿಸುತ್ತದೆ ಏಕೆಂದರೆ raw sensor data ಎಂದಿಗೂ server ಗೆ ಹರಿಯುವುದಿಲ್ಲ. ಆದರೆ, ಇದೇ ಗೌಪ್ಯತೆಯ ರಕ್ಷಣೆಯನ್ನು ದುರುಪಯೋಗಪಡಿಸಿಕೊಳ್ಳಬಹುದು.
ರಕ್ಷಣೆದಾರರಿಗೆ ಮುಂದಿನ ಹಾದಿ
$8 chip ಮೇಲೆ 28-million-parameter LLM ಅನ್ನು ಚಲಾಯಿಸುವ ಸಾಮರ್ಥ್ಯವು, ಹಿಂದೆ cloud-only ಆಗಿದ್ದ ಸಾಮರ್ಥ್ಯವನ್ನು ಒಂದು ಗುಪ್ತ ಮತ್ತು ವ್ಯಾಪಕವಾದ ಬೆದರಿಕೆಯನ್ನಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ. ಸಂಸ್ಥೆಗಳು edge AI ಅನ್ನು ಕೇವಲ ಅನುಕೂಲಕ್ಕಾಗಿ ಬಳಸದೆ, ಒಂದು security frontier ಆಗಿ ಪರಿಗಣಿಸಬೇಕು.