Google AI જનરેશનને કાયમ માટે બદલી રહ્યું છે

સામાન્ય AI મોડલ્સ એક સમયે એક શબ્દ જ જનરેટ કરે છે. આ પદ્ધતિ ધીમી છે. દરેક નવા શબ્દ માટે નેટવર્કમાંથી સંપૂર્ણ પાસ (pass) જરૂરી છે. આના કારણે અવરોધ (bottleneck) ઊભો થાય છે.

Google DeepMind એ આ સમસ્યાના ઉકેલ માટે DiffusionGemma બનાવ્યું છે. તે discrete text diffusion નો ઉપયોગ કરે છે. તે એકસાથે ટેક્સ્ટના મોટા બ્લોક્સને રિફાઇન કરીને કામ કરે છે.

DiffusionGemma ની મુખ્ય વિશેષતાઓ:

  • પેરેલલ જનરેશન (Parallel Generation): આ મોડલ ટેક્સ્ટના સમગ્ર બ્લોક્સને એકસાથે રિફાઇન કરે છે. તે ડાબેથી જમણે (left to right) કામ કરતું નથી.
  • 4x ઝડપી સ્પીડ: Google એ રિપોર્ટ કર્યો છે કે GPUs પર તે 4x સુધી ઝડપી છે.
  • Mixture of Experts: આ મોડલ 26B પેરામીટર બેકબોનમાંથી દરેક સ્ટેપ દીઠ 3.8B પેરામીટર્સનો ઉપયોગ કરે છે.

આ મોડલ encoder-decoder આર્કિટેક્ચરનો ઉપયોગ કરે છે. તે રીઅલ-ટાઇમમાં ડિજિટલ કેનવાસ પર ટોકન્સને સુધારે છે.

તમે તેનો ઉપયોગ અત્યારે જ કરી શકો છો. તે Apache 2.0 લાયસન્સનો ઉપયોગ કરે છે. તે Hugging Face Transformers અને vLLM સાથે કામ કરે છે.

શું ડિફ્યુઝન મોડલ્સ પરંપરાગત AI સ્કેલિંગનું સ્થાન લેશે? અથવા શું તેઓ માત્ર ઝડપી જનરેશનની જરૂરિયાતો પૂરી કરશે? તમારા વિચારો જણાવો.

સ્ત્રોત: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi