এমবেডিংয়ের সহজ ব্যাখ্যা
কম্পিউটার সংখ্যা পছন্দ করে। তারা অর্থ বোঝে না।
কম্পিউটারের কাছে "happy" এবং "joyful" শব্দ দুটি কেবল ভিন্ন ভিন্ন অক্ষর মাত্র। তারা জানে না যে এই শব্দ দুটির মধ্যে একই অনুভূতি রয়েছে।
এমবেডিং এই সমস্যার সমাধান করে। এটি শব্দগুলোকে সংখ্যার তালিকায় রূপান্তরিত করে। এই সংখ্যাগুলো অর্থের জন্য GPS স্থানাঙ্ক (coordinates) হিসেবে কাজ করে।
যখন আপনি শব্দগুলোকে সংখ্যায় রূপান্তর করেন, তখন একই ধরণের শব্দগুলো একটি ডিজিটাল ম্যাপে কাছাকাছি অবস্থান করে।
- "Dog" এবং "puppy"-র স্থানাঙ্ক কাছাকাছি।
- "Dog" এবং "democracy"-র স্থানাঙ্ক অনেক দূরে।
ভেক্টর হলো কেবল একটি ক্রমানুসারে সাজানো সংখ্যার তালিকা। "king" → [0.21, -0.44, 0.88] "queen" → [0.19, -0.41, 0.85]
বাস্তব মডেলগুলো একটি শব্দের জন্য হাজার হাজার এই ধরণের সংখ্যা ব্যবহার করে। আপনাকে সবগুলি দেখার প্রয়োজন নেই। আপনার শুধু জানতে হবে দুটি বিন্দু একে অপরের কতটা কাছাকাছি।
এই ঘনিষ্ঠতা পরিমাপ করতে আমরা cosine similarity ব্যবহার করি।
- একই দিকে থাকা বিন্দু = অত্যন্ত সম্পর্কিত।
- সমকোণে থাকা বিন্দু = সম্পর্কহীন।
এটি অর্থকে জ্যামিতিতে রূপান্তরিত করে। আপনি এমনকি শব্দ দিয়েও গণিত করতে পারেন।
আপনি যদি "king"-এর ভেক্টরটি নেন, সেখান থেকে "man" বিয়োগ করেন এবং "woman" যোগ করেন, তবে আপনি "queen"-এর কাছাকাছি পৌঁছে যাবেন। মডেলটি কোটি কোটি বাক্য পড়ার মাধ্যমে এই প্যাটার্নগুলো শেখে।
এই গণিতটি আপনার প্রতিদিনের ব্যবহৃত AI টুলগুলোকে শক্তি যোগায়:
- Semantic search: সঠিক কিওয়ার্ডের পরিবর্তে অর্থের ভিত্তিতে ফলাফল খুঁজে পাওয়া।
- Recommendations: একই ধরণের ভেক্টরের ওপর ভিত্তি করে পণ্য বা গান সাজেস্ট করা।
- RAG: প্রশ্নের উত্তর দেওয়ার জন্য আপনার ডকুমেন্টে তথ্য খুঁজে পেতে AI-কে সাহায্য করা।
- Clustering: স্বয়ংক্রিয়ভাবে একই ধরণের আইটেমগুলোকে গ্রুপ করা।
আপনি নিজে এই সংখ্যাগুলো গণনা করেন না। আপনি একটি মডেলকে টেক্সট পাঠান এবং এটি আপনাকে ভেক্টর প্রদান করে। এরপর আপনি এই ভেক্টরগুলো সার্চ করার জন্য একটি vector database-এ সংরক্ষণ করেন।
এমবেডিং ভাষার রহস্যকে জ্যামিতির যুক্তিতে রূপান্তরিত করে।
শব্দ কীভাবে একে অপরের সাথে যুক্ত হয় তা দেখতে Meaning Map ব্যবহার করুন: https://dev48v.infy.uk/ai/days/day3-embeddings.html
সবগুলো কনসেপ্ট: https://dev48v.infy.uk/aifromzero.php
Source: https://dev.to/dev48v/embeddings-explained-simply-how-ai-turns-words-into-a-map-of-meaning-36f4