Google ਦਾ Gemma ਲੈਂਗੂਏਜ ਮਾਡਲ, ਜਿਸ ਨੂੰ ਘਟਾ ਕੇ 28.9 ਮਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਤੱਕ ਲਿਆਂਦਾ ਗਿਆ ਹੈ, ਹੁਣ ਇੱਕ ESP32-S3 ਮਾਈਕ੍ਰੋਕੰਟਰੋਲਰ 'ਤੇ ਚੱਲਦਾ ਹੈ ਜਿਸਦੀ ਕੀਮਤ ਲਗਭਗ $8 ਹੈ। ਇੱਕ ਸੁਤੰਤਰ ਡਿਵੈਲਪਰ ਨੇ ਇਸਦਾ proof-of-concept ਤਿਆਰ ਕੀਤਾ ਹੈ, ਜੋ ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਇੱਕ ਪੂਰੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਾਲਾ LLM ਅਜਿਹੇ ਸਸਤੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲ ਸਕਦਾ ਹੈ ਜੋ ਕਿਸੇ ਵੀ IoT ਗੈਜੇਟ ਦੇ ਅੰਦਰ ਲੁਕਿਆ ਹੋ ਸਕਦਾ ਹੈ।
ਇਹ ਤਰੀਕਾ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ
ਜਿਵੇਂ ਕਿ ਸਰੋਤ ਦੱਸਦਾ ਹੈ, Gemma ਦੇ ਕੰਪਰੈਸ਼ਨ ਟੂਲ ਮਾਡਲ ਦੇ weights ਅਤੇ execution graph ਨੂੰ ਉਦੋਂ ਤੱਕ ਦਬਾਉਂਦੇ ਹਨ ਜਦੋਂ ਤੱਕ ਉਹ ESP32 ਦੀ RAM ਅਤੇ ਸੀਮਤ flash storage ਵਿੱਚ ਫਿੱਟ ਨਹੀਂ ਹੋ ਜਾਂਦੇ। ਇਹ ਚਿੱਪ, ਜੋ ਕਿ ਘੱਟ ਕੀਮਤ ਵਾਲੇ ਸੈਂਸਰਾਂ ਅਤੇ ਵੇਅਰੇਬਲਜ਼ (wearables) ਲਈ ਮਨਪਸੰਦ ਹੈ, ਮਾਡਲ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ offline ਚਲਾਉਂਦੀ ਹੈ—ਇਸ ਲਈ ਕਿਸੇ cloud ਕਨੈਕਸ਼ਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।
ਇਹ IoT ਸੁਰੱਖਿਆ ਲਈ ਚੇਤਾਵਨੀ ਕਿਉਂ ਹੈ
- Offline inference ਡੇਟਾ ਨੂੰ ਡਿਵਾਈਸ 'ਤੇ ਹੀ ਰੱਖਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਸਰਵਰ-ਸਾਈਡ ਲੌਗਸ (logs) ਮਿਟ ਜਾਂਦੇ ਹਨ ਪਰ ਨਾਲ ਹੀ ਰੱਖਿਆਕਰਤਾਵਾਂ (defenders) ਲਈ ਨਿਗਰਾਨੀ ਦਾ ਇੱਕ ਮੌਕਾ ਵੀ ਖਤਮ ਹੋ ਜਾਂਦਾ ਹੈ।
- ਸਸਤਾ ਅਤੇ ਹਰ ਜਗ੍ਹਾ ਮੌਜੂਦ ਹਾਰਡਵੇਅਰ ਹਮਲਾਵਰਾਂ ਨੂੰ ਅਜਿਹੇ ਗੈਜੇਟਸ ਵਿੱਚ ਉੱਨਤ AI ਨੂੰ ਲੁਕਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਆਮ ਉਪਭੋਗਤਾ ਜਾਂ ਉਦਯੋਗਿਕ ਮਾਹੌਲ ਵਿੱਚ ਆਸਾਨੀ ਨਾਲ ਮਿਲ ਜਾਂਦੇ ਹਨ।
- ਪੈਚ ਅਤੇ ਅੱਪਡੇਟ ਦੀ ਥਕਾਵਟ – ESP32 ਡਿਵਾਈਸਾਂ ਵਿੱਚ ਅਕਸਰ ਅਜਿਹਾ firmware ਚੱਲਦਾ ਹੈ ਜਿਸ ਨੂੰ ਬਹੁਤ ਘੱਟ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਇੱਕ ਕਮਜ਼ੋਰ AI ਮੋਡਿਊਲ ਨੂੰ ਇੱਕ ਵੱਡੀ ਪ੍ਰਬੰਧਕੀ ਮੁਸ਼ਕਲ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ।
ਸੰਭਾਵੀ ਫਾਇਦੇ ਅਤੇ ਸੰਤੁਲਨ
Edge 'ਤੇ AI ਚਲਾਉਣ ਨਾਲ ਉਪਭੋਗਤਾ ਦੀ ਪ੍ਰਾਈਵੇਸੀ (privacy) ਬਣੀ ਰਹਿੰਦੀ ਹੈ ਕਿਉਂਕਿ ਕੱਚਾ ਸੈਂਸਰ ਡੇਟਾ ਕਦੇ ਵੀ ਸਰਵਰ 'ਤੇ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ। ਹਾਲਾਂਕਿ, ਇਸੇ ਪ੍ਰਾਈਵੇਸੀ ਸ਼ੀਲਡ ਦੀ ਦੁਰਵਰਤੋਂ ਵੀ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ।
ਰੱਖਿਆਕਰਤਾਵਾਂ ਲਈ ਅੱਗੇ ਕੀ ਹੈ
$8 ਦੀ ਚਿੱਪ 'ਤੇ 28-ਮਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਵਾਲਾ LLM ਚਲਾਉਣ ਦੀ ਸਮਰੱਥਾ, ਜੋ ਕਦੇ ਸਿਰਫ਼ cloud ਤੱਕ ਸੀਮਤ ਸੀ, ਹੁਣ ਇੱਕ ਲੁਕਵੇਂ ਅਤੇ ਵਿਆਪਕ ਖਤਰੇ ਵਿੱਚ ਬਦਲ ਗਈ ਹੈ। ਸੰਸਥਾਵਾਂ ਨੂੰ edge AI ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਸਹੂਲਤ ਵਜੋਂ ਨਹੀਂ, ਸਗੋਂ ਸੁਰੱਖਿਆ ਦੀ ਇੱਕ ਨਵੀਂ ਸਰਹੱਦ ਵਜੋਂ ਦੇਖਣਾ ਚਾਹੀਦਾ ਹੈ।