WeMM-Embedding 2B: 2048-ന് പകരം 256 ഡൈമൻഷനുകൾ തിരഞ്ഞെടുക്കുക
മിക്ക ആളുകളും ഒരു എംബെഡിംഗ് മോഡൽ എടുത്ത് അതിന്റെ പൂർണ്ണമായ വലിപ്പത്തിലുള്ള വെക്റ്റർ (full-size vector) നേരിട്ട് അവരുടെ പൈപ്പ്ലൈനിൽ ഉപയോഗിക്കുന്നു. അത് ചെയ്യുന്നത് നിർത്തുക.
Tencent-ന്റെ WeMM-Embedding ടെക്സ്റ്റ്, ചിത്രങ്ങൾ, വീഡിയോ, ഡോക്യുമെന്റുകൾ എന്നിവ കൈകാര്യം ചെയ്യുന്നു. ഇതിന്റെ 2 ബില്യൺ പാരാമീറ്റർ പതിപ്പ് പ്രൊഡക്ഷന് തയ്യാറാണ്.
ഇതിലെ പ്രധാന സവിശേഷത Matryoshka embeddings ആണ്—ഒരു സിംഗിൾ പാസിലൂടെ തന്നെ 64, 128, 256, 512, 1024, അല്ലെങ്കിൽ 2048 ഡൈമൻഷണൽ വെക്റ്ററുകൾ ഔട്ട്പുട്ട് ആയി ലഭിക്കും.
ചെറിയ വെക്റ്ററുകൾ പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
- Performance: 256 ഡൈമൻഷനുകളിൽ, ഇമേജ്, വീഡിയോ ടാസ്ക്കുകൾക്ക് 2048-dim പതിപ്പിന്റെ 98.7% കൃത്യത നിലനിർത്താൻ സാധിക്കുന്നു.
- Speed: ചെറിയ വെക്റ്ററുകൾ ഉപയോഗിക്കുന്നതിലൂടെ വളരെ കുറഞ്ഞ സമയത്തിനുള്ളിൽ ഇൻഡക്സുകൾ പുനർനിർമ്മിക്കാൻ സാധിക്കും.
- Cost: സ്റ്റോറേജ്, മെമ്മറി എന്നിവയ്ക്കായി നിങ്ങൾ ചെലവാക്കുന്ന തുക വളരെ കുറവായിരിക്കും.
- Efficiency: 256 ഡൈമൻഷനുകൾ മതിയാകുന്നിടത്ത് 2048 ഡൈമൻഷനുകൾ ഉപയോഗിക്കുന്നത് വിഭവങ്ങൾ വെറുതെ പാഴാക്കലാണ്.
MMEB-v2 ലീഡർബോർഡിൽ പല വലിയ എതിരാളികളെക്കാളും മുന്നിലാണ് ഈ 2B മോഡൽ. ഇത് നിലവിൽ ഒരു പ്രൊഡക്ഷൻ കമ്പോണന്റ് ആണ്—സെർച്ച്, ഇ-കൊമേഴ്സ്, സോഷ്യൽ മീഡിയ എന്നിവയ്ക്കായി WeChat ഇതിനെയാണ് ആശ്രയിക്കുന്നത്.
ഡോക്യുമെന്റുകൾക്ക് കൂടുതൽ ഇടം ആവശ്യമാണ്
സ്ക്രീൻഷോട്ടുകളും മറ്റ് വിഷ്വൽ ഡോക്യുമെന്റുകളും കനത്ത ടെക്സ്റ്റുകളും സങ്കീർണ്ണമായ ലേഔട്ടുകളും അടങ്ങിയവയാണ്. ഡൈമൻഷനുകൾ കുറയ്ക്കുന്നത് ഫോട്ടോകളെ അപേക്ഷിച്ച് ഇവയെ കൂടുതൽ ബാധിക്കും.
ഇത് എങ്ങനെ പരിശോധിക്കാം
- നിങ്ങളുടെ മുഴുവൻ സിസ്റ്റവും ഒരേസമയം മാറ്റം വരുത്തരുത്.
- നിങ്ങളുടെ നിലവിലെ സംവിധാനം പരാജയപ്പെടുന്ന 20 ക്വറികൾ (queries) തിരഞ്ഞെടുക്കുക—സ്ക്രീൻഷോട്ടുകൾ, ഉൽപ്പന്ന ചിത്രങ്ങൾ, ഡോക്യുമെന്റ് പേജുകൾ എന്നിവ ഇതിൽ ഉൾപ്പെടുത്തുക.
- ഈ ക്വറികൾ 2B മോഡലിലൂടെ പ്രവർത്തിപ്പിക്കുക.
- ഫലങ്ങൾ മെച്ചപ്പെട്ടാൽ മാറ്റം നടപ്പിലാക്കുക. ഇല്ലെങ്കിൽ, നിങ്ങൾ സമയം ലാഭിച്ചു.
ഓരോ കണ്ടന്റ് ടൈപ്പിനും അനുസരിച്ച് ഒരു സ്കോർകാർഡ് സൂക്ഷിക്കുക. ഉൽപ്പന്ന ചിത്രങ്ങൾ 256 ഡൈമൻഷനിൽ മികച്ചതാകാം, എന്നാൽ PDF പേജുകൾക്ക് ഉയർന്ന ഡൈമൻഷൻ ആവശ്യമായി വന്നേക്കാം.
Source: https://dev.to/bean_bean/wemm-embedding-2b-chon-vector-256-chieu-vi-2048-2igd