WeMM-Embedding 2B: Escolha 256 Dimensões em vez de 2048
A maioria das pessoas pega um modelo de embedding e joga o vetor de tamanho total em seu pipeline. Pare de fazer isso.
O WeMM-Embedding da Tencent lida com texto, imagens, vídeo e documentos. Sua versão de 2 bilhões de parâmetros está pronta para produção.
O recurso principal são os Matryoshka embeddings — uma única passagem pode gerar vetores de 64, 128, 256, 512, 1024 ou 2048 dimensões.
Por que vetores menores importam
- Desempenho: Com 256 dimensões, tarefas de imagem e vídeo retêm 98,7% da precisão da versão de 2048 dimensões.
- Velocidade: Vetores menores permitem reconstruir índices em uma fração do tempo.
- Custo: Você gasta muito menos com armazenamento e memória.
- Eficiência: Usar 2048 dimensões quando 256 são suficientes apenas desperdiça recursos.
O modelo 2B lidera muitos concorrentes maiores no leaderboard MMEB-v2. Ele já é um componente de produção — o WeChat depende dele para busca, e-commerce e redes sociais.
Documentos precisam de mais espaço
Capturas de tela e outros documentos visuais contêm textos densos e layouts complexos. Reduzir as dimensões os prejudica mais do que as fotos.
Como testar
- Não reformule todo o seu sistema de uma só vez.
- Escolha 20 consultas onde sua configuração atual falha — misture capturas de tela, imagens de produtos e páginas de documentos.
- Execute essas consultas no modelo 2B.
- Se os resultados melhorarem, implemente a mudança. Se não, você economizou tempo e dinheiro.
Mantenha uma tabela de avaliação por tipo de conteúdo. Fotos de produtos podem funcionar bem com 256 dimensões, enquanto páginas de PDF podem precisar de um mínimo mais alto.
Fonte: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd