WeMM-Embedding 2B: обирайте 256 розмірностей замість 2048
Більшість розробників просто беруть модель ембедінгу та завантажують вектор повного розміру у свій пайплайн. Припиніть це робити.
WeMM-Embedding від Tencent працює з текстом, зображеннями, відео та документами. Його версія з 2 мільярдами параметрів готова до використання у продакшені.
Головною особливістю є Matryoshka embeddings — за один прохід модель може видавати вектори розмірністю 64, 128, 256, 512, 1024 або 2048.
Чому менші вектори мають значення
- Продуктивність: При 256 розмірностях завдання з обробки зображень та відео зберігають 98,7 % точності версії з 2048 розмірностями.
- Швидкість: Менші вектори дозволяють перебудувати індекси за значно менший час.
- Вартість: Ви витрачаєте набагато менше на зберігання та пам'ять.
- Ефективність: Використання 2048 розмірностей, коли достатньо 256, — це просто марнування ресурсів.
Модель 2B посідає перші місця серед багатьох більших конкурентів у лідерборді MMEB-v2. Вона вже є компонентом продакшену — WeChat використовує її для пошуку, електронної комерції та соціальних мереж.
Документам потрібно більше простору
Скриншоти та інші візуальні документи містять щільний текст і складне макетування. Зменшення розмірності шкодить їм сильніше, ніж фотографіям.
Як це протестувати
- Не намагайтеся переробити всю систему одразу.
- Оберіть 20 запитів, на яких ваша поточна система помиляється — змішайте скриншоти, зображення товарів та сторінки документів.
- Пропустіть ці запити через модель 2B.
- Якщо результати покращилися, впроваджуйте зміни. Якщо ні — ви заощадили час і гроші.
Ведіть таблицю оцінювання для кожного типу контенту. Фотографії товарів можуть бути цілком прийнятними при 256 розмірностях, тоді як сторінкам PDF може знадобитися вищий мінімум.
Джерело: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd