WeMM-Embedding 2B: Elige 256 dimensiones en lugar de 2048
La mayoría de la gente toma un modelo de embeddings y vuelca el vector de tamaño completo en su pipeline. Deja de hacer eso.
El WeMM-Embedding de Tencent gestiona texto, imágenes, vídeo y documentos. Su versión de 2.000 millones de parámetros está lista para producción.
La característica estrella son los Matryoshka embeddings: una sola pasada puede generar vectores de 64, 128, 256, 512, 1024 o 2048 dimensiones.
Por qué importan los vectores más pequeños
- Rendimiento: Con 256 dimensiones, las tareas de imagen y vídeo conservan el 98,7 % de la precisión de la versión de 2048 dimensiones.
- Velocidad: Los vectores más pequeños te permiten reconstruir índices en una fracción del tiempo.
- Coste: Gastas mucho menos en almacenamiento y memoria.
- Eficiencia: Usar 2048 dimensiones cuando 256 son suficientes solo consume recursos.
El modelo 2B encabeza a muchos competidores más grandes en la tabla de clasificación MMEB-v2. Ya es un componente de producción: WeChat confía en él para búsquedas, comercio electrónico y redes sociales.
Los documentos necesitan más espacio
Las capturas de pantalla y otros documentos visuales contienen texto denso y diseños complejos. Reducir las dimensiones les afecta más que a las fotos.
Cómo probarlo
- No reestructures todo tu sistema a la vez.
- Elige 20 consultas en las que tu configuración actual falle: mezcla capturas de pantalla, imágenes de productos y páginas de documentos.
- Ejecuta esas consultas a través del modelo 2B.
- Si los resultados mejoran, implementa el cambio. Si no, habrás ahorrado tiempo y dinero.
Mantén una tabla de puntuación por tipo de contenido. Las fotos de productos pueden funcionar bien con 256 dimensiones, mientras que las páginas de PDF podrían necesitar un mínimo más alto.
Fuente: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd