𝗗𝗶𝗳𝗳𝘂𝘀𝗶𝗼𝗻𝗚𝗲𝗺𝗺𝗮: సెకనుకు 1,000 టోకెన్లు

చాలా భాషా నమూనాలు (language models) ఒక సమయంలో ఒకే పదాన్ని ప్రాసెస్ చేస్తాయి. అవి ఎడమ నుండి కుడికి వెళ్తాయి. దీనివల్ల వేగ పరిమితి ఏర్పడుతుంది, ఎందుకంటే తదుపరి పదాన్ని ప్రారంభించే ముందు మోడల్ ప్రతి పదం పూర్తయ్యే వరకు వేచి ఉండాలి.

Google DeepMind DiffusionGemmaతో దీనిని మార్చింది.

వరుస క్రమంలో (sequential) రాయడానికి బదులుగా, ఇది డీనోయిసింగ్ (denoising) ప్రక్రియను ఉపయోగిస్తుంది. ఇది 256 టోకెన్ల వరకు ఉన్న ఒక బ్లాక్‌ను తీసుకుని, వాటన్నింటినీ ఒకేసారి మెరుగుపరుస్తుంది. ఈ విధానం ద్వారా ఒకే NVIDIA H100 పై సెకనుకు 1,000 కంటే ఎక్కువ టోకెన్లను సాధించవచ్చు. ఇది సాధారణ నమూనాల కంటే నాలుగు రెట్లు వేగవంతమైనది.

ఇది ఎలా పనిచేస్తుంది:

  • మోడల్ ప్లేస్‌హోల్డర్ టోకెన్ల బ్లాక్‌తో ప్రారంభమవుతుంది.
  • ఈ ప్లేస్‌హోల్డర్‌లను శుభ్రం చేయడానికి ఇది బహుళ దశలను (multiple passes) నిర్వహిస్తుంది.
  • బ్లాక్‌లోని ప్రతి టోకెన్, అదే సమయంలో బ్లాక్‌లోని మిగిలిన అన్ని టోకెన్లను గమనిస్తుంది.
  • ఈ ద్విదిశ వీక్షణ (bidirectional view) మోడల్ రెండు వైపుల నుండి సందర్భాన్ని (context) అర్థం చేసుకోవడానికి సహాయపడుతుంది.

హార్డ్‌వేర్ పనితీరు:

• NVIDIA H100: 1,000+ టోకెన్లు/సెకను • NVIDIA DGX Station: 2,000 టోకెన్లు/సెకను వరకు • GeForce RTX 5090: ~700 టోకెన్లు/సెకను • VRAM అవసరం: క్వాంటైజ్ చేసినప్పుడు (quantized) ~18GB

దీనిని ఎక్కడ ఉపయోగించాలి:

DiffusionGemma లోకల్ సెట్టింగ్‌లలో అద్భుతంగా పనిచేస్తుంది. క్లౌడ్‌లో, కంపెనీలు సమర్థతను పెంచడానికి చాలా మంది వినియోగదారులను కలిపి (batch) ప్రాసెస్ చేస్తాయి. మీ స్వంత కంప్యూటర్‌లో, పదాల మధ్య GPU తరచుగా ఖాళీగా (idle) ఉంటుంది. మెమరీ అడ్డంకులను (memory bottlenecks) నేరుగా కంప్యూటింగ్ పనులుగా మార్చడం ద్వారా DiffusionGemma ఈ సమస్యను పరిష్కరిస్తుంది.

వీటి కోసం ఉపయోగించండి:

  • కోడ్ ఇన్‌ఫిల్లింగ్ (Code infilling): ఒక ఫంక్షన్ మధ్యలో కోడ్‌ను జోడించడం.
  • టెక్స్ట్ ఎడిటింగ్: ఒక పేరాగ్రాఫ్‌లోని వాక్యాన్ని మార్చడం.
  • కన్స్ట్రైంట్ టాస్క్‌లు (Constraint tasks): మొత్తం బ్లాక్ ఒకదానితో ఒకటి సరిపోయేలా పజిల్స్ లేదా గణిత సమస్యలను పరిష్కరించడం.

దీని వల్ల కలిగే నష్టం (trade-off) నాణ్యత. బెంచ్‌మార్క్‌ల ప్రకారం, రీజనింగ్ మరియు కోడింగ్‌లో DiffusionGemma, సాధారణ Gemma 4 కంటే తక్కువ స్కోరు సాధిస్తుంది. చిత్రాల కంటే భాషను డీఫ్యూజ్ చేయడం కష్టం, ఎందుకంటే ఒక తప్పు పదం మొత్తం వాక్యాన్ని పాడు చేయవచ్చు.

తీర్పు (The verdict):

మీకు లోకల్ హార్డ్‌వేర్‌పై వేగం కావాలంటే DiffusionGemmaని ఉపయోగించండి. మీకు అత్యున్నత ఖచ్చితత్వం మరియు లోతైన రీజనింగ్ కావాలంటే సాధారణ Gemma 4ని ఉపయోగించండి.

ఆధారం: https://dev.to/prabhakar_chaudhary_7afe4/diffusiongemma-how-google-deepminds-text-diffusion-model-achieves-1000-tokens-per-second-3jnl

ఐచ్ఛిక అభ్యాస కమ్యూనిటీ: https://t.me/GyaanSetuAi