𝗚𝗼𝗼𝗴𝗹𝗲 𝗖𝗵𝗮𝗻𝗴𝗲𝘀 𝗔𝗜 𝗚𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝗼𝗻 𝗙𝗼𝗿𝗲𝘃𝗲𝗿 -> Google AI జనరేషన్ను శాశ్వతంగా మారుస్తోంది
సాధారణ AI మోడల్స్ వచనాన్ని (text) ఒక్కో పదంగా ఉత్పత్తి చేస్తాయి. ఈ పద్ధతి నెమ్మదిగా ఉంటుంది. ప్రతి కొత్త పదం కోసం నెట్వర్క్ ద్వారా పూర్తి పాస్ అవసరం అవుతుంది. ఇది ఒక అడ్డంకిని (bottleneck) సృష్టిస్తుంది.
దీనిని పరిష్కరించడానికి Google DeepMind DiffusionGemmaను రూపొందించింది. ఇది డిస్క్రీట్ టెక్స్ట్ డిఫ్యూజన్ను (discrete text diffusion) ఉపయోగిస్తుంది. ఇది పెద్ద వచన బ్లాక్లను ఒకేసారి మెరుగుపరచడం ద్వారా పనిచేస్తుంది.
DiffusionGemma యొక్క ముఖ్య లక్షణాలు:
- పారలల్ జనరేషన్ (Parallel Generation): ఈ మోడల్ వచన బ్లాక్ల మొత్తాన్ని ఒకేసారి మెరుగుపరుస్తుంది. ఇది ఎడమ నుండి కుడికి పనిచేయదు.
- 4 రెట్లు వేగవంతమైన వేగం: GPUs పై 4 రెట్లు వేగవంతమైన వేగాన్ని Google నివేదించింది.
- మిక్చర్ ఆఫ్ ఎక్స్పర్ట్స్ (Mixture of Experts): ఈ మోడల్ 26B పారామీటర్ బ్యాక్బోన్ నుండి ప్రతి దశలో 3.8B పారామీటర్లను ఉపయోగిస్తుంది.
ఈ మోడల్ ఎన్కోడర్-డీకోడర్ ఆర్కిటెక్చర్ను ఉపయోగిస్తుంది. ఇది డిజిటల్ కాన్వాస్పై టోకెన్లను రియల్ టైమ్లో సరిచేస్తుంది.
మీరు దీనిని ఇప్పుడు ఉపయోగించవచ్చు. ఇది Apache 2.0 లైసెన్స్ను ఉపయోగిస్తుంది. ఇది Hugging Face Transformers మరియు vLLM తో పనిచేస్తుంది.
డిఫ్యూజన్ మోడల్స్ సాంప్రదాయ AI స్కేలింగ్ను భర్తీ చేస్తాయా? లేదా అవి కేవలం వేగవంతమైన జనరేషన్ అవసరాల కోసం మాత్రమే ఉపయోగపడతాయా? మీ అభిప్రాయాలను పంచుకోండి.
మూలం: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io
ఐచ్ఛిక అభ్యాస కమ్యూనిటీ: https://t.me/GyaanSetuAi