𝗗𝗶𝗳𝗳𝘂𝘀𝗶𝗼𝗻𝗚𝗲𝗺𝗺𝗮 𝟮𝟲𝗕: 𝗣𝗮𝗿𝗮𝗹𝗹𝗲𝗹 𝗧𝗲𝘅𝘁 𝗚𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝗼𝗻

Google DeepMind DiffusionGemma 26B ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದೆ. ಈ ಮಾಡೆಲ್ ಪ್ರಮಾಣಿತ autoregressive ವಿಧಾನದ ಬದಲಿಗೆ discrete diffusion ಅನ್ನು ಬಳಸುತ್ತದೆ.

GPT ಅಥವಾ Llama ನಂತಹ ಹೆಚ್ಚಿನ ಮಾಡೆಲ್‌ಗಳು ಪಠ್ಯವನ್ನು ಒಂದೊಂದು ಟೋಕನ್ ಆಗಿ ರಚಿಸುತ್ತವೆ. ಪ್ರತಿಯೊಂದು ಟೋಕನ್‌ಗಾಗಿ ಅವು ಪೂರ್ಣ ಪ್ರಕ್ರಿಯೆಯನ್ನು (full pass) ನಡೆಸಬೇಕಾಗುತ್ತದೆ. ಇದು ಸ್ಥಳೀಯ ಬಳಕೆ ಅಥವಾ ರಿಯಲ್-ಟೈಮ್ ಕಾರ್ಯಗಳಿಗೆ ಅವುಗಳನ್ನು ನಿಧಾನವಾಗಿಸುತ್ತದೆ.

DiffusionGemma ವಿಭಿನ್ನವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಇದು 256 ರ‍್ಯಾಂಡಮ್ ಟೋಕನ್‌ಗಳ ಬ್ಲಾಕ್‌ನೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ ಮತ್ತು ಹಲವಾರು ಹಂತಗಳ ಮೂಲಕ ಅವುಗಳನ್ನು ಪರಿಷ್ಕರಿಸುತ್ತದೆ.

ಇದು ಏಕೆ ಮುಖ್ಯ:

• ವೇಗ (Speed): ಇದು H100 GPU ನಲ್ಲಿ ಸೆಕೆಂಡಿಗೆ 1,000 ಟೋಕನ್‌ಗಳ ವೇಗವನ್ನು ತಲುಪಬಲ್ಲದು. ಅದೇ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಪ್ರಮಾಣಿತ ಮಾಡೆಲ್‌ಗಳು ಸೆಕೆಂಡಿಗೆ ಕೇವಲ 70 ಟೋಕನ್‌ಗಳನ್ನು ಮಾತ್ರ ತಲುಪುತ್ತವೆ. • ದಕ್ಷತೆ (Efficiency): 256 ಟೋಕನ್‌ಗಳಿಗಾಗಿ 256 ಹಂತಗಳ ಬದಲಿಗೆ, ಇದು ಕೇವಲ ಸುಮಾರು 10 ಹಂತಗಳನ್ನು ಮಾತ್ರ ಅಗತ್ಯಪಡಿಸುತ್ತದೆ. • GPU ಬಳಕೆ: ಇದು ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ಗಿಂತ ಕಂಪ್ಯೂಟ್ ಪವರ್ ಅನ್ನು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಬಳಸುತ್ತದೆ.

ವಹಿವಾಟಿನ ಮಿತಿಗಳು (Trade-offs):

ಈ ವೇಗವು ಗುಣಮಟ್ಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ. ಪ್ರಮಾಣಿತ Gemma 4 26B ಗೆ ಹೋಲಿಸಿದರೆ DiffusionGemma reasoning ಮತ್ತು coding benchmarks ನಲ್ಲಿ ಕಡಿಮೆ ಅಂಕಗಳನ್ನು ಪಡೆಯುತ್ತದೆ.

ಉತ್ತಮ ಬಳಕೆಯ ಸಂದರ್ಭಗಳು:

  • Code infilling.
  • JSON schemas ತುಂಬುವುದು.
  • ರಚನಾತ್ಮಕ ದಾಖಲೆಗಳ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ (Structured document completion).
  • ಕಡಿಮೆ ವಿಳಂಬ (low latency) ಆದ್ಯತೆಯಾಗಿರುವ ಸ್ಥಳೀಯ ಕಾರ್ಯಗಳು.

ಇವುಗಳಿಗಾಗಿ ಬಳಸುವುದನ್ನು ತಪ್ಪಿಸಿ:

  • ದೊಡ್ಡ ಬ್ಯಾಚ್‌ಗಳಿರುವ ಹೆಚ್ಚಿನ-ಸಮಕಾಲಿಕ (High-concurrency) APIs.
  • ಗುಣಮಟ್ಟವು ಏಕೈಕ ಆದ್ಯತೆಯಾಗಿರುವ ಕಾರ್ಯಗಳು.
  • ಪದ ಪದಕ್ಕೇ ಪಠ್ಯವನ್ನು ಸ್ಟ್ರೀಮ್ ಮಾಡುವ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು.

ಈ ಮಾಡೆಲ್ Mixture-of-Experts (MoE) ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ಒಟ್ಟು 25.2B ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಹೊಂದಿದ್ದರೂ, ಪ್ರತಿ ಹಂತದಲ್ಲಿ ಕೇವಲ 3.8B ಸಕ್ರಿಯ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತದೆ. ನೀವು 24GB VRAM ಹೊಂದಿರುವ RTX 4090 ಮೇಲೆ 4-bit ವರ್ಷನ್ ಅನ್ನು ಚಲಾಯಿಸಬಹುದು.

ಇದು ಒಂದು ಪ್ರಾಯೋಗಿಕ ಮಾಡೆಲ್. ನಿಮಗೆ ಅತ್ಯುನ್ನತ ನಿಖರತೆ ಬೇಕಿದ್ದರೆ ಪ್ರಮಾಣಿತ Gemma 4 ಅನ್ನು ಬಳಸಿ. ಸ್ಥಳೀಯ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗಾಗಿ ಅತಿ ಹೆಚ್ಚಿನ ವೇಗ ಬೇಕಿದ್ದರೆ DiffusionGemma ಅನ್ನು ಬಳಸಿ.

Source: https://dev.to/prabhakar_chaudhary_7afe4/diffusiongemma-26b-how-googles-text-diffusion-model-generates-tokens-in-parallel-56og

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi