WeMM-Embedding 2B: ২০৪৮-এর পরিবর্তে ২৫৬ ডাইমেনশন বেছে নিন
অধিকাংশ মানুষ একটি এমবেডিং মডেল নিয়ে সরাসরি তার ফুল-সাইজ ভেক্টর পাইপলাইনে ব্যবহার করে ফেলে। এটা করা বন্ধ করুন।
Tencent-এর WeMM-Embedding টেক্সট, ইমেজ, ভিডিও এবং ডকুমেন্ট হ্যান্ডেল করতে পারে। এর ২ বিলিয়ন-প্যারামিটার ভার্সনটি প্রোডাকশনের জন্য প্রস্তুত।
এর প্রধান বৈশিষ্ট্য হলো Matryoshka embeddings—একটি সিঙ্গেল পাসের মাধ্যমেই আপনি ৬৪, ১২৮, ২৫৬, ৫১২, ১০২৪ বা ২০৪৮-ডাইমেনশনাল ভেক্টর আউটপুট হিসেবে পেতে পারেন।
কেন ছোট ভেক্টর গুরুত্বপূর্ণ
- পারফরম্যান্স: ২৫৬ ডাইমেনশনে ইমেজ এবং ভিডিও টাস্কগুলো ২০৪৮-ডাইমেনশনাল ভার্সনের তুলনায় ৯৮.৭% নির্ভুলতা বজায় রাখে।
- গতি: ছোট ভেক্টর ব্যবহারের ফলে আপনি অনেক দ্রুত ইনডেক্স পুনরায় তৈরি করতে পারবেন।
- খরচ: স্টোরেজ এবং মেমোরির পেছনে আপনার খরচ অনেক কমে যাবে।
- দক্ষতা: যেখানে ২৫৬ ডাইমেনশন যথেষ্ট, সেখানে ২০৪৮ ডাইমেনশন ব্যবহার করা মানে শুধু রিসোর্স অপচয় করা।
MMEB-v2 লিডারবোর্ডে এই 2B মডেলটি অনেক বড় বড় প্রতিযোগী মডেলকে ছাড়িয়ে গেছে। এটি ইতিমধ্যে একটি প্রোডাকশন কম্পোনেন্ট হিসেবে ব্যবহৃত হচ্ছে—সার্চ, ই-কমার্স এবং সোশ্যাল মিডিয়ার জন্য WeChat এর ওপর এটি নির্ভর করে।
ডকুমেন্টের জন্য বেশি স্পেস প্রয়োজন
স্ক্রিনশট এবং অন্যান্য ভিজ্যুয়াল ডকুমেন্টে ঘন টেক্সট এবং জটিল লেআউট থাকে। ডাইমেনশন কমিয়ে ফেললে ফটোর তুলনায় এগুলোর ক্ষেত্রে বেশি ক্ষতি হয়।
এটি কীভাবে পরীক্ষা করবেন
১. একবারে আপনার পুরো সিস্টেম পরিবর্তন করার চেষ্টা করবেন না। ২. এমন ২০টি কুয়েরি (queries) বেছে নিন যেখানে আপনার বর্তমান সেটআপটি হিমশিম খাচ্ছে—এতে স্ক্রিনশট, প্রোডাক্ট ইমেজ এবং ডকুমেন্ট পেজ মিশিয়ে নিন। ৩. সেই কুয়েরিগুলো 2B মডেলের মাধ্যমে রান করুন। ৪. যদি ফলাফল উন্নত হয়, তবে পরিবর্তনটি প্রয়োগ করুন। আর যদি না হয়, তবে আপনি অন্তত সময় এবং টাকা বাঁচিয়েছেন।
প্রতিটি কন্টেন্ট টাইপের জন্য একটি স্কোরকার্ড রাখুন। প্রোডাক্ট ফটোর জন্য ২৫৬ ডাইমেনশন ঠিক থাকতে পারে, কিন্তু PDF পেজের জন্য হয়তো আরও বেশি ডাইমেনশন প্রয়োজন হতে পারে।
উৎস: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd