Google AI জেনারেশনকে চিরতরে বদলে দিচ্ছে

সাধারণ AI মডেলগুলো একটির পর একটি শব্দ তৈরি করে। এই পদ্ধতিটি ধীরগতির। প্রতিটি নতুন শব্দের জন্য নেটওয়ার্কের সম্পূর্ণ একটি পাসের প্রয়োজন হয়। এটি একটি প্রতিবন্ধকতা (bottleneck) তৈরি করে।

Google DeepMind এটি সমাধানের জন্য DiffusionGemma তৈরি করেছে। এটি discrete text diffusion ব্যবহার করে। এটি একসাথে টেক্সটের বড় ব্লকগুলোকে পরিমার্জন করার মাধ্যমে কাজ করে।

DiffusionGemma-এর মূল বৈশিষ্ট্যসমূহ:

  • Parallel Generation: মডেলটি একসাথে টেক্সটের পুরো ব্লকগুলোকে পরিমার্জন করে। এটি বাম থেকে ডানে কাজ করে না।
  • 4x দ্রুত গতি: Google জানিয়েছে যে GPUs-এ এটি ৪ গুণ পর্যন্ত দ্রুত কাজ করতে পারে।
  • Mixture of Experts: মডেলটি একটি 26B প্যারামিটার ব্যাকবোন থেকে প্রতি ধাপে 3.8B প্যারামিটার ব্যবহার করে।

এই মডেলটি একটি encoder-decoder আর্কিটেকচার ব্যবহার করে। এটি রিয়েল টাইমে একটি ডিজিটাল ক্যানভাস জুড়ে টোকেনগুলোকে সংশোধন করে।

আপনি এটি এখন ব্যবহার করতে পারেন। এটি Apache 2.0 লাইসেন্স ব্যবহার করে। এটি Hugging Face Transformers এবং vLLM-এর সাথে কাজ করে।

ডিফিউশন মডেলগুলো কি প্রথাগত AI scaling-এর জায়গা দখল করে নেবে? নাকি এগুলো শুধুমাত্র দ্রুত জেনারেশনের প্রয়োজন মেটাবে? আপনার মতামত জানান।

Source: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io

Optional learning community: https://t.me/GyaanSetuAi