AI ਨੂੰ ਸੰਭਵ ਬਣਾਉਣ ਵਾਲੇ ਤਿੰਨ ਵਿਚਾਰ
ਆਧੁਨਿਕ AI ਜਾਦੂ ਵਾਂਗ ਲੱਗਦਾ ਹੈ। ਤੁਸੀਂ ਇੱਕ ਵਾਕ ਟਾਈਪ ਕਰਦੇ ਹੋ ਅਤੇ ਮਸ਼ੀਨ ਜਵਾਬ ਲਿਖਦੀ ਹੈ। ਇਹ ਬਹੁਤ ਅਜੀਬ ਲੱਗਦਾ ਹੈ।
ਪਰ ਇਹ ਅਜਿਹਾ ਨਹੀਂ ਹੈ।
ਆਧੁਨਿਕ AI ਇਸ ਲਈ ਮੌਜੂਦ ਹੈ ਕਿਉਂਕਿ ਇੰਜੀਨੀਅਰਾਂ ਨੇ ਖਾਸ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਸੁਲਝਾਇਆ ਹੈ। ਉਨ੍ਹਾਂ ਨੇ ਖਰਾਬ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਲੱਭਿਆ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਠੀਕ ਕੀਤਾ।
ਇੱਥੇ ਉਹ ਤਿੰਨ ਇੰਜੀਨੀਅਰਿੰਗ ਸੁਧਾਰ ਹਨ ਜਿਨ੍ਹਾਂ ਨੇ Transformer ਨੂੰ ਬਣਾਇਆ।
- Skip Connections
2014 ਵਿੱਚ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ neural networks ਨੂੰ ਹੋਰ ਡੂੰਘਾ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ। ਉਨ੍ਹਾਂ ਨੂੰ ਲੱਗਿਆ ਕਿ ਵਧੇਰੇ ਲੇਅਰਾਂ ਦਾ ਮਤਲਬ ਬਿਹਤਰ ਨਤੀਜੇ ਹਨ। ਇਹ ਅਸਫਲ ਰਿਹਾ। ਡੂੰਘੇ ਨੈੱਟਵਰਕਾਂ ਨੇ ਅਸਲ ਵਿੱਚ ਬਦਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ।
ਨੈੱਟਵਰਕ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤਿਆ ਜਾਣ ਵਾਲਾ error signal ਕਈ ਲੇਅਰਾਂ ਵਿੱਚੋਂ ਲੰਘਦੇ ਹੋਏ ਜਾਂ ਤਾਂ ਖਤਮ ਹੋ ਜਾਂਦਾ ਸੀ ਜਾਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਵਧ ਜਾਂਦਾ ਸੀ। ਸ਼ੁਰੂਆਤੀ ਲੇਅਰਾਂ ਨੂੰ ਕੋਈ ਲਾਭਦਾਇਕ ਫੀ