Hugging Face-ൽ ഏറ്റവും കൂടുതൽ ഡൗൺലോഡ് ചെയ്യപ്പെട്ട മോഡൽ ഒരു ചാറ്റ്-ബോട്ട് അല്ല – അത് 2021-ലെ 22 മില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു sentence-embedding മോഡലാണ്, ഇത് 256 മില്യൺ തവണ ഡൗൺലോഡ് ചെയ്യപ്പെട്ടിട്ടുണ്ട്. ഈ കണക്കുകൾ ഒരു ലളിതമായ കഥ പറയുന്നു: മിക്ക യഥാർത്ഥ ലോക AI വർക്ക്ലോഡുകളും പ്രവർത്തിക്കുന്നത് ചെറിയ, CPU-friendly ആയ മോഡലുകളിലാണ്, വാർത്തകളിൽ നിറഞ്ഞുനിൽക്കുന്ന വലിയ ലാംഗ്വേജ് മോഡലുകളിലല്ല (LLMs).
പ്രൊഡക്ഷനിൽ ആധിപത്യം പുലർത്തുന്ന മൂന്ന് മോഡലുകൾ
all-MiniLM-L6-v2 – 256 മില്യൺ ഡൗൺലോഡുകൾ
ഈ 22 M-പാരാമീറ്റർ മോഡൽ ഒരു ടെക്സ്റ്റ് ഭാഗത്തെ ഒരു ഡെൻസ് വെക്ടറിലേക്ക് (dense vector) മാറ്റുന്നു. സമാനതകൾ അളക്കുന്നതിനായി ഈ വെക്ടറിനെ മറ്റുള്ളവയുമായി താരതമ്യം ചെയ്യാം, ഇത് semantic search, recommendation engines, duplicate-detection pipelines എന്നിവയെ സഹായിക്കുന്നു.
എന്തുകൊണ്ടാണ് ഇത് എല്ലായിടത്തും കാണപ്പെടുന്നത്:
- CPU-യിൽ പ്രവർത്തിക്കുന്നു – ചെലവേറിയ GPU ആവശ്യമില്ല.
- ബാച്ച് പ്രോസസ്സിംഗിന് വേഗതയുള്ളത് – മിനിറ്റുകൾക്കുള്ളിൽ ദശലക്ഷക്കണക്കിന് വാക്യങ്ങളെ എംബെഡ് (embed) ചെയ്യാൻ കഴിയും.
- ലോക്കലായി ഹോസ്റ്റ് ചെയ്യാൻ സൗജന്യമാണ് – ക്ലൗഡ് സർവീസ് ഫീസുകളും ഡാറ്റാ പ്രൈവസി ആശങ്കകളും ഒഴിവാക്കുന്നു.
cross-encoder/ms-marco-MiniLM-L6-v2 – 87 മില്യൺ ഡൗൺലോഡുകൾ
ഈ മോഡൽ ഒരു reranker ആയി പ്രവർത്തിക്കുന്നു. ഇത് ഒരു ക്വറിയും (query) ഒരു കാൻഡിഡേറ്റ് ഡോക്യുമെന്റും ഒരുമിച്ച് എടുത്ത് അവയുടെ പ്രസക്തി കണക്കാക്കി ഒരു സ്കോർ നൽകുന്നു. ഒരു സാധാരണ RAG സ്റ്റാക്കിൽ (RAG stack) ഇതിന്റെ പ്രവർത്തനരീതി ഇപ്രകാരമാണ്:
- വേഗതയേറിയ ഘട്ടം (Fast stage) – MiniLM മികച്ച 50 കാൻഡിഡേറ്റുകളെ കണ്ടെത്തുന്നു.
- കൃത്യതയുള്ള ഘട്ടം (Accurate stage) – ആ 50 ഐറ്റങ്ങളെ cross-encoder വീണ്ടും സ്കോർ ചെയ്യുന്നത് ഉത്തരത്തിന്റെ ഗുണനിലവാരം വർദ്ധിപ്പിക്കുന്നു.
മോഡൽ പേജിലെ കുറഞ്ഞ "like" എണ്ണം സൂചിപ്പിക്കുന്നത് മിക്ക ഉപയോക്താക്കളും ഹബ്ബ് ബ്രൗസ് ചെയ്യുന്നതിന് പകരം പ്രോഗ്രാമാറ്റിക് ആയിട്ടാണ് ഇത് ഉപയോഗിക്കുന്നത് എന്നാണ്. എങ്കിലും, ഡൗൺലോഡ് വോളിയം പരിശോധിച്ചാൽ പ്രൊഡക്ഷൻ പൈപ്പ്ലൈനുകളിൽ കൃത്യത വർദ്ധിപ്പിക്കുന്നതിനുള്ള പ്രധാന ടൂൾ (de-facto tool) ഇതാണെന്ന് വ്യക്തമാണ്.
amazon/chronos-2 – 35 മില്യൺ ഡൗൺലോഡുകൾ
Chronos-2 ടൈം-സീരീസ് ഡാറ്റയെ (time-series data) ടെക്സ്റ്റ് പോലെയാണ് കൈകാര്യം ചെയ്യുന്നത്. ഇത് ഒരു സിംഗിൾ ഫൗണ്ടേഷൻ മോഡലിനെ ഉപയോഗിച്ച് സെയിൽസ്, സെർവർ ലോഡ് അല്ലെങ്കിൽ മറ്റേതെങ്കിലും നമ്പറിക്കൽ സിഗ്നലുകൾ പ്രത്യേക പരിശീലനമില്ലാതെ തന്നെ പ്രവചിക്കാൻ സഹായിക്കുന്നു. ഒരു സ്പെഷ്യലൈസ്ഡ് ഫോകാസ്റ്ററിന് (specialized forecaster) ലഭിച്ച ദശലക്ഷക്കണക്കിന് ഡൗൺലോഡുകൾ, "ഒരിക്കൽ പരിശീലിപ്പിക്കുക, എവിടെയും പ്രവർത്തിപ്പിക്കുക" (train once, run anywhere) എന്ന രീതിയിലുള്ള സൊല്യൂഷനുകളോടുള്ള വലിയ താൽപ്പര്യത്തെ സൂചിപ്പിക്കുന്നു. പ്രത്യേകിച്ച് ഓരോ മെട്രിക്സിനും പ്രത്യേക മോഡലുകൾ ഉപയോഗിക്കുന്ന സ്ഥാപനങ്ങളിൽ ഇതിന് വലിയ പ്രസക്തിയുണ്ട്.
ഈ കണക്കുകൾ AI ടീമുകൾക്ക് നൽകുന്ന സൂചനകൾ
മാധ്യമങ്ങളിലെ പ്രചാരണങ്ങളും (media hype) യഥാർത്ഥ പ്രവർത്തന realities-ഉം തമ്മിലുള്ള വ്യത്യാസം ഈ ഡൗൺലോഡ് ചാർട്ടുകൾ വെളിപ്പെടുത്തുന്നു. പ്രസ് റിലീസുകളിൽ LLM-കൾ ആധിപത്യം പുലർത്തുന്നുണ്ടെങ്കിലും, സേവനങ്ങൾ യഥാർത്ഥത്തിൽ സുഗമമായി മുന്നോട്ട് കൊണ്ടുപോകുന്ന പ്രധാന ഘടകങ്ങൾ ഇവയാണ്:
- Embedding models – അസംസ്കൃത ടെക്സ്റ്റുകളെ സെർച്ച് ചെയ്യാവുന്ന വെക്ടറുകളാക്കി മാറ്റുന്നു.
- Cross-encoders – ഈ വെക്ടറുകളെ കൃത്യമായ റാങ്കിംഗുകളാക്കി മാറ്റുന്നു.
- Foundation forecasters – ഒരൊറ്റ മോഡൽ ഉപയോഗിച്ച് നിരവധി നമ്പറിക്കൽ സീരീസുകൾ വിശകലനം ചെയ്യുന്നു.
ഇതിൽ നിന്നുള്ള പാഠം വ്യക്തമാണ്: നിങ്ങൾ വലിയ തോതിൽ (at scale) പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്ന ഒരു AI നിർമ്മിക്കുകയാണെങ്കിൽ, വെറും പ്രചാരണങ്ങൾക്കപ്പുറം നോക്കുക. Hugging Face-ന്റെ ഡൗൺലോഡ് ചാർട്ടുകളിൽ മുന്നിൽ നിൽക്കുന്ന മോഡലുകളാണ് പ്രൊഡക്ഷൻ സിസ്റ്റങ്ങളെ സജീവമായി നിലനിർത്തുന്നത്, യഥാർത്ഥ AI നിക്ഷേപങ്ങൾ എങ്ങോട്ടായിരിക്കുമെന്ന് ഇവ തുടർച്ചയായി നിർണ്ണയിക്കും.