WeMM-Embedding 2B: Pilih 256 Dimensi Berbanding 2048
Kebanyakan orang mengambil model embedding dan memasukkan vektor saiz penuh terus ke dalam pipeline mereka. Berhenti melakukan perkara itu.
WeMM-Embedding daripada Tencent mengendalikan teks, imej, video, dan dokumen. Versi 2 bilion parameternya sudah sedia untuk pengeluaran (production).
Ciri utamanya ialah Matryoshka embeddings—satu proses tunggal boleh menghasilkan vektor berdimensi 64, 128, 256, 512, 1024, atau 2048.
Mengapa vektor yang lebih kecil itu penting
- Prestasi: Pada 256 dimensi, tugasan imej dan video mengekalkan 98.7% ketepatan berbanding versi 2048-dim.
- Kelajuan: Vektor yang lebih kecil membolehkan anda membina semula indeks dalam masa yang jauh lebih singkat.
- Kos: Anda membelanjakan jauh lebih sedikit untuk storan dan memori.
- Kecekapan: Menggunakan 2048 dimensi apabila 256 sudah mencukupi hanya membazirkan sumber.
Model 2B ini menduduki tempat teratas mengatasi ramai pesaing yang lebih besar dalam papan pendahulu (leaderboard) MMEB-v2. Ia sudah menjadi komponen pengeluaran—WeChat bergantung kepadanya untuk carian, e-dagang, dan media sosial.
Dokumen memerlukan lebih banyak ruang
Tangkapan skrin dan dokumen visual lain mengandungi teks yang padat dan susun atur yang rumit. Pengurangan dimensi memberi kesan lebih besar kepada dokumen tersebut berbanding foto.
Cara untuk mengujinya
- Jangan rombak keseluruhan sistem anda sekaligus.
- Pilih 20 pertanyaan (queries) di mana tetapan semasa anda menghadapi masalah—campurkan tangkapan skrin, imej produk, dan halaman dokumen.
- Jalankan pertanyaan tersebut melalui model 2B.
- Jika keputusan bertambah baik, laksanakan perubahan tersebut. Jika tidak, anda telah menjimatkan masa dan wang.
Simpan skor penilaian bagi setiap jenis kandungan. Foto produk mungkin memadai pada 256 dimensi, manakala halaman PDF mungkin memerlukan nilai minimum yang lebih tinggi.
Sumber: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd