గూగుల్ యొక్క Gemma లాంగ్వేజ్ మోడల్, 28.9 మిలియన్ పారామీటర్లకు తగ్గించబడింది, ఇప్పుడు సుమారు $8 ధర కలిగిన ESP32-S3 మైక్రోకంట్రోలర్పై నడుస్తుంది. ఒక స్వతంత్ర డెవలపర్ దీనికి సంబంధించిన ప్రూఫ్-ఆఫ్-కాన్సెప్ట్ను రూపొందించారు, దీని ద్వారా పూర్తి స్థాయి LLM సామర్థ్యం కలిగిన మోడల్ను ఏవైనా IoT పరికరాల లోపల దాచగలిగేంత చౌకైన హార్డ్వేర్పై కూడా నడపవచ్చని నిరూపించారు.
ఈ ప్రక్రియ ఎలా పనిచేస్తుంది
మూలం వివరించినట్లుగా, Gemma యొక్క కంప్రెషన్ టూల్స్ మోడల్ యొక్క weights మరియు execution graph ను ESP32 యొక్క RAM మరియు తక్కువ ఫ్లాష్ స్టోరేజీలోకి సరిపోయేలా కుదిస్తాయి. తక్కువ ధర కలిగిన సెన్సార్లు మరియు వేరబుల్స్ (wearables) కోసం ఎక్కువగా ఉపయోగించే ఈ చిప్, మోడల్ను పూర్తిగా ఆఫ్లైన్లోనే అమలు చేస్తుంది—దీనికి క్లౌడ్ కనెక్షన్ అవసరం లేదు.
ఇది IoT భద్రతకు ఎందుకు ముప్పుగా మారుతుంది
- ఆఫ్లైన్ ఇన్ఫరెన్స్ (Offline inference) డేటాను పరికరం లోపలే ఉంచుతుంది, దీనివల్ల సర్వర్-సైడ్ లాగ్లు ఉండవు, కానీ రక్షించే వారికి (defenders) డేటాను పర్యవేక్షించే అవకాశం కూడా ఉండదు.
- చౌకైన, సర్వవ్యాప్తమైన హార్డ్వేర్ వల్ల దాడి చేసేవారు సాధారణ వినియోగదారుల లేదా పారిశ్రామిక పరికరాలలో అత్యాధునిక AIని సులభంగా అమర్చగలరు.
- ప్యాచ్ మరియు అప్డేట్ అలసట (Patch and update fatigue) – ESP32 పరికరాలు తరచుగా అప్డేట్ చేయబడని ఫర్మ్వేర్ను ఉపయోగిస్తాయి, ఇది ఒక బలహీనమైన AI మాడ్యూల్ను నిర్వహించలేని సమస్యగా మారుస్తుంది.
సానుకూల అంశాలు మరియు ప్రతికూలతలు
ఎడ్జ్ (edge) పరికరాలపై AIని నడపడం వల్ల వినియోగదారుల గోప్యత (privacy) రక్షించబడుతుంది, ఎందుకంటే ముడి సెన్సార్ డేటా ఎప్పుడూ సర్వర్కు వెళ్లదు. అయితే, ఇదే గోప్యతను దుర్వినియోగం చేసే అవకాశం కూడా ఉంది.
రక్షకులు ఇకపై ఏం చేయాలి
$8 చిప్పై 28 మిలియన్ పారామీటర్ల LLMని నడపగల సామర్థ్యం, ఒకప్పుడు క్లౌడ్కు మాత్రమే పరిమితమైన సాంకేతికతను ఒక దాగి ఉన్న, విస్తృతమైన ముప్పుగా మారుస్తుంది. సంస్థలు ఎడ్జ్ AIని కేవలం సౌకర్యంగా మాత్రమే కాకుండా, ఒక భద్రతా సవాలుగా (security frontier) పరిగణించాలి.