RNNs, Transformers, ਅਤੇ State Space Models

Transformers ਅੱਜ AI ਵਿੱਚ ਦਬਦਬਾ ਰੱਖਦੇ ਹਨ। ਪਰ ਇੱਕ ਨਵੀਂ ਸਮੱਸਿਆ ਮੌਜੂਦ ਹੈ। AI ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਜਾਣਕਾਰੀ ਨੂੰ ਕਿਵੇਂ ਯਾਦ ਰੱਖਦਾ ਹੈ?

Large Language Models ਹੁਣ ਸਧਾਰਨ ਸਵਾਲਾਂ ਤੋਂ ਅੱਗੇ ਵਧ ਰਹੇ ਹਨ। ਉਹ ਖੁਦਮੁਖਤਿਆਰ ਏਜੰਟ (autonomous agents) ਅਤੇ ਕੋਡਿੰਗ ਸਹਾਇਕ (coding assistants) ਬਣ ਰਹੇ ਹਨ। ਇਨ੍ਹਾਂ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਕੰਮ ਕਰਨ ਲਈ ਭਰੋਸੇਯੋਗ ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਮੈਮੋਰੀ ਨੂੰ ਸੰਭਾਲਣ ਦੇ ਤਿੰਨ ਤਰੀਕੇ:

RNNs (Recurrent Neural Networks)

  • ਸੀਕੁਐਂਸ਼ੀਅਲ ਡੇਟਾ ਲਈ ਵਧੀਆ ਹਨ।
  • ਹਲਕੇ (Lightweight) ਹਨ।
  • ਲੰਬੇ ਸਮੇਂ ਦੀ ਮੈਮੋਰੀ (long-range memory) ਵਿੱਚ ਕਮਜ਼ੋਰ ਹਨ।

Transformers

  • ਤਰਕ (reasoning) ਕਰਨ ਵਿੱਚ ਬਹੁਤ ਵਧੀਆ ਹਨ।
  • ਪੈਰਲਲ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ।
  • ਜਿਵੇਂ-ਜਿਵੇਂ ਟੈਕਸਟ ਲੰਬਾ ਹੁੰਦਾ ਹੈ, ਖਰਚਾ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦਾ ਹੈ।

State Space Models (Mamba)

  • ਲੀਨੀਅਰ ਕੰਪਲੈਕਸਿਟੀ (linear complexity) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ।
  • ਲੰਬੇ ਕੰਟੈਕਸਟ (long context) ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੰਭਾਲਦੇ ਹਨ।
  • ਇਨਫਰੈਂਸ (inference) ਖਰਚਿਆਂ ਨੂੰ ਘਟਾਉਂਦੇ ਹਨ।

ਭਵਿੱਖ ਕਿਸੇ ਇੱਕ ਨੂੰ ਜੇਤੂ ਨਹੀਂ ਚੁਣੇਗਾ। ਆਧੁਨਿਕ AI ਪ੍ਰਣਾਲੀਆਂ ਇਨ੍ਹਾਂ ਆਰਕੀਟੈਕਚਰਾਂ ਨੂੰ ਮਿਲਾ ਕੇ ਚਲਾਉਣਗੀਆਂ। ਮੈਮੋਰੀ ਹੁਣ ਮਾਡਲ ਦੀ ਚੁਣੌਤੀ ਦੀ ਬਜਾਏ ਇੱਕ ਸਿਸਟਮ ਦੀ ਚੁਣੌਤੀ ਬਣ ਗਈ ਹੈ।

ਤੁਹਾਨੂੰ ਕੀ ਲੱਗਦਾ ਹੈ?

Source: https://dev.to/smileaitoolsreview/rnns-transformers-and-state-space-models-the-next-evolution-of-ai-memory-2cn4

Optional learning community: https://t.me/GyaanSetuAi