𝗤𝗦𝗚𝗗: ਤੇਜ਼ AI ਟ੍ਰੇਨਿੰਗ

ਡਿਸਟ੍ਰੀਬਿਊਟਡ AI ਟ੍ਰੇਨਿੰਗ ਹੌਲੀ ਹੁੰਦੀ ਹੈ। ਨੈੱਟਵਰਕ ਹਰ ਚੀਜ਼ ਦੀ ਰਫ਼ਤਾਰ ਘਟਾ ਦਿੰਦਾ ਹੈ। ਸਰਵਰਾਂ ਵਿਚਕਾਰ ਗ੍ਰੇਡੀਐਂਟਸ (gradients) ਨੂੰ ਭੇਜਣ ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਲੱਗਦਾ ਹੈ।

QSGD ਇਸ ਨੂੰ ਠੀਕ ਕਰਦਾ ਹੈ। ਇਹ ਰੈਂਡਮਾਈਜ਼ਡ ਕਵਾਟਾਈਜ਼ੇਸ਼ਨ (randomized quantization) ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਹ ਵਿਧੀ ਡਾਟਾ ਦੇ ਆਕਾਰ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ। ਤੁਸੀਂ ਨੈੱਟਵਰਕ ਰਾਹੀਂ ਘੱਟ ਜਾਣਕਾਰੀ ਭੇਜਦੇ ਹੋ।

ਤੁਹਾਡੇ ਲਈ ਫਾਇਦੇ:

  • ਟ੍ਰੇਨਿੰਗ ਦਾ ਤੇਜ਼ ਸਮਾਂ।
  • ਨੈੱਟਵਰਕ 'ਤੇ ਘੱਟ ਲੋਡ।
  • ਉਹੀ AI ਸ਼ੁੱਧਤਾ।

ਗਣਿਤ ਨਿਰਪੱਖ ਰਹਿੰਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਸਰਵੋਤਮ ਸੰਚਾਰ ਮਿਲਦਾ ਹੈ।

ਸਰੋਤ: https://dev.to/paperium/qsgd-randomized-quantization-for-communication-optimal-stochastic-gradientdescent-2gaf

ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi