Google AI Generation ਨੂੰ ਹਮੇਸ਼ਾ ਲਈ ਬਦਲ ਰਿਹਾ ਹੈ
ਸਟੈਂਡਰਡ AI ਮਾਡਲ ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਸ਼ਬਦ ਕਰਕੇ ਟੈਕਸਟ ਤਿਆਰ ਕਰਦੇ ਹਨ। ਇਹ ਤਰੀਕਾ ਹੌਲੀ ਹੈ। ਹਰ ਨਵੇਂ ਸ਼ਬਦ ਲਈ ਨੈੱਟਵਰਕ ਰਾਹੀਂ ਪੂਰੀ ਪ੍ਰਕਿਰਿਆ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਨਾਲ ਰੁਕਾਵਟ (bottleneck) ਪੈਦਾ ਹੁੰਦੀ ਹੈ।
Google DeepMind ਨੇ ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ DiffusionGemma ਬਣਾਇਆ ਹੈ। ਇਹ discrete text diffusion ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਹ ਇੱਕੋ ਸਮੇਂ ਟੈਕਸਟ ਦੇ ਵੱਡੇ ਹਿੱਸਿਆਂ ਨੂੰ ਸੁਧਾਰ ਕੇ ਕੰਮ ਕਰਦਾ ਹੈ।
DiffusionGemma ਦੀਆਂ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ:
- Parallel Generation: ਮਾਡਲ ਇੱਕੋ ਸਮੇਂ ਟੈਕਸਟ ਦੇ ਪੂਰੇ ਹਿੱਸਿਆਂ ਨੂੰ ਸੁਧਾਰਦਾ ਹੈ। ਇਹ ਖੱਬੇ ਤੋਂ ਸੱਜੇ (left to right) ਕੰਮ ਨਹੀਂ ਕਰਦਾ।
- 4x ਤੇਜ਼ ਰਫ਼ਤਾਰ: Google ਅਨੁਸਾਰ GPUs 'ਤੇ ਰਫ਼ਤਾਰ 4 ਗੁਣਾ ਤੱਕ ਤੇਜ਼ ਹੈ।
- Mixture of Experts: ਮਾਡਲ 26B ਪੈਰਾਮੀਟਰ ਵਾਲੇ backbone ਵਿੱਚੋਂ ਹਰ ਸਟੈਪ ਲਈ 3.8B ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
ਇਹ ਮਾਡਲ encoder-decoder architecture ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਹ ਰੀਅਲ-ਟਾਈਮ ਵਿੱਚ ਇੱਕ ਡਿਜੀਟਲ ਕੈਨਵਸ 'ਤੇ ਟੋਕਨਾਂ ਨੂੰ ਸੁਧਾਰਦਾ ਹੈ।
ਤੁਸੀਂ ਇਸਦੀ ਵਰਤੋਂ ਹੁਣ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ Apache 2.0 ਲਾਇਸੈਂਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਹ Hugging Face Transformers ਅਤੇ vLLM ਦੇ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ।
ਕੀ diffusion ਮਾਡਲ ਰਵਾਇਤੀ AI scaling ਦੀ ਜਗ੍ਹਾ ਲੈ ਲੈਣਗੇ? ਜਾਂ ਕੀ ਉਹ ਸਿਰਫ਼ ਤੇਜ਼ ਜਨਰੇਸ਼ਨ ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨਗੇ? ਆਪਣੇ ਵਿਚਾਰ ਸਾਂਝੇ ਕਰੋ।
Source: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io
Optional learning community: https://t.me/GyaanSetuAi