Modeli ya lugha ya Gemma ya Google, iliyofupishwa hadi vigezo (parameters) milioni 28.9, sasa inafanya kazi kwenye kichakataji kidogo (microcontroller) cha ESP32-S3 kinachouzwa kwa takriban $8. Msanidi programu huru alitengeneza mfano wa uthibitisho (proof-of-concept), akionyesha kuwa LLM yenye vipengele kamili inaweza kuishi kwenye vifaa vya bei rahisi vya kutosha kufichwa ndani ya kifaa chochote cha IoT.
Jinsi mbinu hii inavyofanya kazi
Zana za ukandamizaji za Gemma hufinya uzito (weights) wa modeli na michoro ya utekelezaji (execution graph) hadi ifikie uwezo wa RAM na hifadhi ndogo ya flash ya ESP32, kama chanzo kinavyoeleza. Kichip hiki, ambacho ni chaguo maarufu kwa sensa za bei rahisi na vifaa vinavyovaliwa (wearables), hufanya kazi ya modeli akiwa nje ya mtandao kabisa—bila kuhitaji muunganisho wa cloud.
Kwa nini hii inazua tahadhari kwa usalama wa IoT
- Utoaji wa matokeo bila mtandao (Offline inference) huweka data kwenye kifaa, ikifuta kumbukumbu za upande wa seva (server-side logs) lakini pia ikiondoa nukta ya uwezo wa kuona kwa walinzi wa mifumo.
- Vifaa vya bei rahisi na vinavyopatikana kila mahali huwaruhusu washambuliaji kuweka AI ya kisasa kwenye vifaa vinavyoweza kuchanganyika na mazingira ya kawaida ya walaji au viwanda.
- Uchovu wa kurekebisha na kusasisha (Patch and update fatigue) – vifaa vya ESP32 mara nyingi hutumia firmware ambazo hazisasishwi mara kwa mara, jambo linalobadilisha moduli ya AI iliyo hatarini kuwa jinamizi la kiutendaji.
Faida zinazoweza kujitokeza na uwiano wake
Kuendesha AI kwenye edge kulinda faragha ya mtumiaji kwa sababu data ghafi ya sensa haitumiwi kamwe kwenye seva. Hata hivyo, kinga hiyo hiyo ya faragha inaweza kutumiwa vibaya.
Hatua zinazofuata kwa walinzi wa mifumo
Uwezo wa kuendesha LLM yenye vigezo milioni 28 kwenye kichip cha $8 unageuza uwezo ambao hapo awali ulikuwa wa cloud pekee kuwa tishio la siri na lililoenea kila mahali. Mashirika lazima yaichukulie edge AI kama mpaka mpya wa usalama, na si urahisi tu.