Sparse federated learning ਅਤੇ ਫਲੋਰ 'ਤੇ ਰੋਬੋਟ ਫੀਡਬੈਕ ਦੇ ਸੁਮੇਲ ਨੇ ਤਿੰਨ ਟ੍ਰੇਨਿੰਗ ਰਾਊਂਡਾਂ ਵਿੱਚ ਤਾਂਬੇ ਦੀ ਛਾਂਟਣ ਦੀ ਸ਼ੁੱਧਤਾ ਨੂੰ 60% ਤੋਂ ਵਧਾ ਕੇ 94% ਕਰ ਦਿੱਤਾ, ਜਦਕਿ ਹਰ ਭਾਗੀਦਾਰ ਦੇ ਡੇਟਾ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸੁਰੱਖਿਅਤ ਰੱਖਿਆ। ਇਹ ਪ੍ਰਾਪਤੀ ਇਸ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ ਉਤਪਾਦਕਾਂ, ਰੀਸਾਈਕਲਰਾਂ ਜਾਂ ਸਮੈਲਟਰਾਂ ਨੂੰ ਆਪਣੇ ਮਾਲਕੀ ਵਾਲੇ ਡਿਜ਼ਾਈਨ, ਸੈਂਸਰ ਲੌਗਸ ਜਾਂ ਪ੍ਰਕਿਰਿਆ ਮਾਡਲਾਂ ਨੂੰ ਪ੍ਰਗਟ ਕੀਤੇ ਬਿਨਾਂ ਉੱਚ-ਗ੍ਰੇਡ ਈ-ਵੇਸਟ ਰੀਸਾਈਕਲਿੰਗ ਦਾ ਮਾਰਗ ਦਿਖਾਉਂਦੀ ਹੈ।

ਇਹ ਸਮੱਸਿਆ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਇਲੈਕਟ੍ਰਾਨਿਕ ਕੂੜੇ (e-waste) ਵਿੱਚ ਕੀਮਤੀ ਮੈਟਲ ਹੁੰਦੇ ਹਨ, ਫਿਰ ਵੀ ਉਹਨਾਂ ਨੂੰ ਕੱਢਣਾ ਇੱਕ ਡੇਟਾ-ਭਰਪੂਰ ਕਾਰਜ ਹੈ। ਡਿਜ਼ਾਈਨਰ ਵਿਸਤ੍ਰਿਤ ਨਕਸ਼ੇ (blueprints) ਦੀ ਰਾਖੀ ਕਰਦੇ ਹਨ, ਰੀਸਾਈਕਲਰ ਡਿਸਅਸੈਂਬਲੀ ਲਾਈਨਾਂ ਤੋਂ ਵਾਈਬ੍ਰੇਸ਼ਨ, ਚਿੱਤਰ ਅਤੇ ਟੈਕਸਟ ਡੇਟਾ ਦੇ ਸਰੋਤ ਰੱਖਦੇ ਹਨ, ਅਤੇ ਸਮੈਲਟਰ ਆਪਣੀ ਮਾਲਕੀ ਵਾਲੀ ਪ੍ਰੋਸੈਸਿੰਗ ਸਿਮੂਲੇਸ਼ਨ ਚਲਾਉਂਦੇ ਹਨ। ਇਹਨਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਧਿਰ ਮੁਕਾਬਲੇ ਦੀ ਵਾਧੂ ਮਿਲੀ ਭੇਟ ਜਾਂ ਨਿੱਜਤਾ ਨਿਯਮਾਂ ਦੀ ਉਲੰਘਣਾ ਦੇ ਡਰੋਂ ਕੱਚਾ ਡੇਟਾ ਨਹੀਂ ਦੇਣਾ ਚਾਹੁੰਦੀ। ਨਤੀਜੇ ਵਜੋਂ ਬਣੇ ਡੇਟਾ ਸਾਈਲੋਜ਼ (data silos) ਸਰਕੂਲਰ ਇਕਾਨਮੀ ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚਾਉਂਦੇ ਹਨ: ਕੀਮਤੀ ਮੈਟਲ ਨਿਕਲ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਉਤਪਾਦਕਾਂ ਨੂੰ ਉਤਪਾਦ ਦੇ ਅੰਤ-ਜੀਵਨ (end-of-life) ਪ੍ਰਬੰਧਨ ਨੂੰ ਸੁਧਾਰਨ ਦੇ ਮੌਕੇ ਮਿਲ ਨਹੀਂ ਪਾਉਂਦੇ।

Sparse federated learning ਫੈਕਟਰੀ ਦੀ ਅਸਲੀਅਤ ਨਾਲ ਕਿਵੇਂ ਨਜਿੱਠਦਾ ਹੈ

ਸਟੈਂਡਰਡ ਫੈਡਰੇਟਿਡ ਲਰਨਿੰਗ—ਜਿੱਥੇ ਕਈ ਡਿਵਾਈਸਾਂ ਕੱਚਾ ਡੇਟਾ ਹਿਲਾਏ ਬਿਨਾਂ ਇੱਕ ਸਾਂਝਾ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਦੀਆਂ ਹਨ—ਤਿੰਨ ਕਾਰਨਾਂ ਕਰਕੇ ਉਦਯੋਗਿਕ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦੀ ਹੈ।

  • ਅਤਿਅੰਤ ਵਿਭਿੰਨਤਾ (Extreme heterogeneity) – ਸੈਂਸਰਾਂ ਦੀ ਕਿਸਮ ਅਤੇ ਫਾਰਮੈਟ ਵਿੱਚ ਬਹੁਤ ਫਰਕ ਹੁੰਦਾ ਹੈ, ਉੱਚ-ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਕੈਮਰਿਆਂ ਤੋਂ ਲੈ ਕੇ ਘੱਟ-ਬੈਂਡਵਿਡਥ ਵਾਈਬ੍ਰੇਸ਼ਨ ਮੀਟਰਾਂ ਤੱਕ। ਇੱਕੋ ਤਰ੍ਹਾਂ ਦਾ ਮਾਡਲ ਅਜਿਹੇ ਵੱਖ-ਵੱਖ ਇਨਪੁੱਟਸ ਨੂੰ ਜੋੜਨ ਵਿੱਚ ਮੁਸ਼ਕਲ ਮਹਿਸੂਸ ਕਰਦਾ ਹੈ।
  • ਸਪਾਰਸ ਕਨੈਕਟੀਵਿਟੀ (Sparse connectivity) – ਫੈਕਟਰੀ ਵਾਈ-ਫਾਈ ਕਦੇ-ਕਦੇ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਕਦੇ ਨਹੀਂ। ਇੱਕ ਅਸਥਿਰ ਲਿੰਕ ਰਾਹੀਂ ਪੂਰੇ ਮਾਡਲ ਅਪਡੇਟ ਭੇਜਣ ਨਾਲ ਟ੍ਰੇਨਿੰਗ ਰੁਕ ਜਾਂਦੀ ਹੈ।
  • ਲੇਬਲ ਦੀ ਸਮੱਸਿਆ (The label problem) – ਆਪਰੇਟਰਾਂ ਕੋਲ ਸ਼ਾਇਦ ਹੀ ਕਦੇ ਸਾਫ਼, ਪ੍ਰਤੀ-ਆਈਟਮ ਲੇਬਲ ਹੁੰਦੇ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਸਿਰਫ਼ ਇਹ ਪਤਾ ਹੁੰਦਾ ਹੈ ਕਿ ਸਮੱਗਰੀ ਦਾ ਇੱਕ ਬੈਚ ਸਫਲਤਾਪੂਰਵਕ ਰਿਕਵਰ ਕੀਤਾ ਗਿਆ ਸੀ ਜਾਂ ਨਹੀਂ, ਜੋ ਕਿ ਇੱਕ ਅਸਪਸ਼ਟ ਸੰਕੇਤ ਹੈ ਜੋ ਸਿੱਖਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਉਲਝਾ ਦਿੰਦਾ ਹੈ।

ਨਵਾਂ ਤਰੀਕਾ ਈਕੋਸਿਸਟਮ ਨੂੰ ਤਿੰਨ ਤਰ੍ਹਾਂ ਦੇ ਕਲਾਇੰਟ ਗਰੁੱਪਾਂ ਵਿੱਚ ਵੰਡਦਾ ਹੈ। ਡਿਜ਼ਾਈਨ-ਕੇਂਦ੍ਰਿਤ OEM ਕਲਾਇੰਟ ਬਲੂਪ੍ਰਿੰਟ ਡੇਟਾ 'ਤੇ ਇਨਕੋਡਰਸ (encoders) ਨੂੰ ਟ੍ਰੇਨ ਕਰਦੇ ਹਨ, ਜਦੋਂ ਕਿ ਰੀਸਾਈਕਲਰ ਕਲਾਇੰਟ ਸ਼ਾਪ ਫਲੋਰ 'ਤੇ ਇਕੱਠੇ ਕੀਤੇ ਗਏ ਸ਼ੋਰ ਵਾਲੇ ਸੈਂਸਰ ਫੀਡ 'ਤੇ ਇਨਕੋਡਰਸ ਨੂੰ ਟ੍ਰੇਨ ਕਰਦੇ ਹਨ। ਕਲਾਉਡ ਵਿੱਚ ਇੱਕ ਐਗਰੀਗੇਟਰ (aggregator) ਡਾਊਨਸਟ੍ਰੀਮ ਕਲਾਸੀਫਿਕੇਸ਼ਨ ਲਈ ਦੋਵਾਂ ਇਨਕੋਡਰ ਸਪੇਸਾਂ ਨੂੰ ਇੱਕ ਸਾਂਝੇ ਰੂਪ ਵਿੱਚ ਜੋੜਦਾ ਹੈ।

ਬੈਂਡਵਿਡਥ ਨੂੰ ਕੰਟਰੋਲ ਵਿੱਚ ਰੱਖਣ ਲਈ, ਸਿਸਟਮ top-k gradient sparsification ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਹਰੇਕ ਕਲਾਇੰਟ ਸਿਰਫ਼ 1% ਗ੍ਰੇਡੀਐਂਟ ਭੇਜਦਾ ਹੈ ਜਿਸ ਨੂੰ ਉਹ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਮੰਨਦਾ ਹੈ। ਇੱਕ ਐਰਰ-ਬਫਰ (error-buffer) ਰੱਦ ਕੀਤੇ ਗਏ ਛੋਟੇ ਅਪਡੇਟਸ ਨੂੰ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਸਟੋਰ ਕਰਦਾ ਹੈ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ ਦੁਬਾਰਾ ਜੋੜਦਾ ਹੈ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹੋਏ ਕਿ ਮਾਡਲ ਬਾਰੀਕ ਪੈਟਰਨਾਂ ਨੂੰ ਨਾ ਭੁੱਲ ਜਾਵੇ।

ਰੋਬੋਟ ਦੀ ਦੁਬਿਧਾ ਨੂੰ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਲੇਬਲਾਂ ਵਿੱਚ ਬਦਲਣਾ

ਸਿਰਫ਼ ਫੈਡਰੇਟਿਡ ਲਰਨਿੰਗ ਲੇਬਲ ਦੀ ਘਾਟ ਨੂੰ ਹੱਲ ਨਹੀਂ ਕਰ ਸਕਦੀ। ਖੋਜਕਰਤਾਵਾਂ ਨੇ embodied agents—ਰੋਬੋਟ ਜੋ ਛਾਂਟਣ ਲਈ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਸਮਾਨ ਸੈਂਸਰਾਂ ਨਾਲ ਲੈਸ ਹਨ—ਨੂੰ ਜੋੜਿਆ। ਜਦੋਂ ਰੋਬੋਟ ਕਿਸੇ ਧਾਤ ਦੇ ਟੁਕੜੇ ਬਾਰੇ ਅਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਉਹ ਇੱਕ ਮਨੁੱਖੀ ਆਪਰੇਟਰ ਨੂੰ ਸੂਚਿਤ ਕਰਦਾ ਹੈ। ਆਪਰੇਟਰ ਸਹੀ ਮੈਟਲ ਲੇਬਲ ਦਿੰਦਾ ਹੈ, ਜੋ ਕਿ ਸਥਾਨਕ ਟ੍ਰੇਨਿੰਗ ਲੂਪ ਵਿੱਚ ਵਾਪਸ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ।

ਇਹ ਫੀਡਬੈਕ ਲੂਪ ਅਨਿਸ਼ਚਿਤਤਾ ਦੇ ਪਲ ਨੂੰ ਇੱਕ ਸਹੀ ਡੇਟਾ ਪੁਆਇੰਟ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਟ੍ਰੇਨਿੰਗ ਸੈੱਟ ਦੇ ਸਿਗਨਲ-ਟੂ-ਨੋਇਜ਼ ਰੇਸ਼ੋ ਵਿੱਚ ਭਾਰੀ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ। ਕਿਉਂਕਿ ਲੇਬਲ ਉਸ ਮਨੁੱਖ ਦੁਆਰਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ ਜੋ ਅਸਲ ਟੁਕੜੇ ਨੂੰ ਦੇਖਦਾ ਹੈ, ਮਾਡਲ ਸ਼ੋਰ ਵਾਲੇ "ਰਿਕਵਰਡ ਬਨਾਮ ਗੁੰਮ" (recovered vs. lost) ਬੈਚ ਨਤੀਜਿਆਂ ਦੀ ਬਜਾਏ ਗਰਾਊਂਡ-ਟਰੂਥ (ground-truth) ਤੋਂ ਸਿੱਖਦਾ ਹੈ।

ਨਤੀਜੇ ਅਤੇ ਪ੍ਰਭਾਵ

ਨਿਯੰਤਰਿਤ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ, ਸਿਸਟਮ ਨੇ ਸਿਰਫ਼ ਤਿੰਨ ਫੈਡਰੇਟਿਡ ਰਾਊਂਡਾਂ ਤੋਂ ਬਾਅਦ ਤਾਂਬੇ ਦੀ ਛਾਂਟਣ ਦੀ ਸ਼ੁੱਧਤਾ ਨੂੰ 60% ਤੋਂ ਵਧਾ ਕੇ 94% ਕਰ ਦਿੱਤਾ। ਇਹ ਉਛਾਲ ਇਨਪੁੱਟ ਸਟ੍ਰੀਮਾਂ ਦੀ ਅਤਿਅੰਤ ਵਿਭਿੰਨਤਾ ਅਤੇ 1% ਸੰਚਾਰਿਤ ਗ੍ਰੇਡੀਐਂਟ ਡੇਟਾ ਦੇ ਬਾਵਜੂਦ ਆਇਆ। ਐਰਰ-ਬਫਰ ਨੇ ਇਹ ਯਕੀਨੀ ਬਣਾਇਆ ਕਿ ਮਾਡਲ ਉਹ ਬਾਰੀਕ ਅਪਡੇਟਸ ਵੀ ਕੈਪਚਰ ਕਰ ਸਕੇ ਜੋ ਸ਼ੁਰੂ ਵਿੱਚ ਛੱਡ ਦਿੱਤੇ ਗਏ ਸਨ।

ਨਤੀਜਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ ਕਿ ਉੱਚ-ਸ਼ੁੱਧਤਾ ਵਾਲੀ ਰੀਸਾਈਕਲਿੰਗ ਲਈ ਕਿਸੇ ਇੱਕ ਵਿਸ਼ਾਲ, ਕੇਂਦਰੀ ਤੌਰ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪ