LLMs বনাম Generative AI
Generative AI একটি ব্যাপক শব্দ। LLM হলো সেই গ্রুপের অন্তর্ভুক্ত একটি নির্দিষ্ট ধরণের মডেল। আরও উন্নত সিস্টেম তৈরি করতে আপনাকে এদের প্রযুক্তিগত পার্থক্যগুলো বুঝতে হবে।
LLM পরবর্তী টোকেন প্রেডিক্ট করার জন্য Transformers ব্যবহার করে। এগুলো autoregressive প্রক্রিয়ার মাধ্যমে কাজ করে।
একটি LLM যেভাবে কাজ করে:
- মডেলটি একটি প্রম্পট গ্রহণ করে।
- এটি টেক্সটকে টোকেনে রূপান্তর করে।
- এটি পরবর্তী টোকেনের সম্ভাবনা গণনা করে।
- বাক্য গঠনের জন্য এটি এই লুপটি পুনরাবৃত্তি করে।
Diffusion মডেলগুলো ভিন্নভাবে কাজ করে। এগুলো নয়েজ রিভার্স করার মাধ্যমে ছবি তৈরি করে।
একটি Diffusion মডেল যেভাবে কাজ করে:
- সিস্টেমটি র্যান্ডম নয়েজ দিয়ে শুরু হয়।
- এটি ধাপে ধাপে নয়েজ দূর করে।
- একটি ছবি ফুটিয়ে তোলার জন্য এটি একটি প্যাটার্ন অনুসরণ করে।
- ডিনয়েজিং প্রক্রিয়াটি পরিচালনা করতে এটি প্রম্পট ব্যবহার করে।
একটি দ্রুত তুলনা: • LLM: autoregressive Transformers ব্যবহার করে। আউটপুট হলো টেক্সট টোকেন। • Diffusion: iterative denoising ব্যবহার করে। আউটপুট হলো পিক্সেল। • GAN: adversarial training ব্যবহার করে। আউটপুট হলো সিন্থেটিক ডেটা।
এই মডেলগুলোর মধ্যকার সীমানা পরিবর্তিত হচ্ছে। বেশিরভাগ আধুনিক সিস্টেম এখন Transformer ব্যাকবোন ব্যবহার করে। আর্কিটেকচার এখন কম্পোজিশনাল (compositional) হয়ে উঠছে। এর মানে হলো বিভিন্ন ধরণের মডেল একটি সিস্টেমের মধ্যে একসাথে কাজ করবে।