In the Weights: LLM-കളുടെ കാലഘട്ടത്തിൽ നിങ്ങളുടെ ഡിജിറ്റൽ പൈതൃകം അളക്കുന്നു
വെബ് സെർച്ച് എഞ്ചിനുകൾ സത്യത്തിന്റെ പ്രാഥമിക സ്രോതസ്സ് എന്ന പദവി നഷ്ടപ്പെട്ടുകൊണ്ടിരിക്കുമ്പോൾ, ഒരു പുതിയ ഡിജിറ്റൽ അതിർത്തി ഉയർന്നുവരുന്നു: Large Language Models-ന്റെ ആന്തരിക പാരാമീറ്ററുകൾ. ഒരു പുതിയ വാനിറ്റി സെർച്ച് ടൂളായ "In the Weights", തങ്ങളുടെ അസ്തിത്വം ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിന്റെ ഭാഗമായി മാറിയിട്ടുണ്ടോ എന്ന് കണ്ടെത്താൻ ഉപയോക്താക്കളെ അനുവദിക്കുന്നു.
ഗൂഗിളിന് അപ്പുറം: LLM അധിഷ്ഠിത ഐഡന്റിറ്റിയുടെ ഉദയം
പതിറ്റാണ്ടുകളായി, ഒരാളുടെ ഡിജിറ്റൽ ഫൂട്ട്പ്രിന്റ് പരിശോധിക്കുന്നതിനുള്ള മാനദണ്ഡം "സ്വയം ഗൂഗിൾ ചെയ്യുക" എന്നതായിരുന്നു. എന്നിരുന്നാലും, കൂടുതൽ ഉപയോക്താക്കൾ പരമ്പരാഗത സെർച്ച് എഞ്ചിനുകളിൽ നിന്ന് സംഭാഷണാത്മക AI-കളിലേക്ക് മാറുന്നതോടെ, ഓൺലൈൻ സാന്നിധ്യത്തിന്റെ സങ്കൽപ്പം മാറിക്കൊണ്ടിരിക്കുകയാണ്. Global Illumination ഏറ്റെടുത്തതിലൂടെ മുൻ OpenAI അംഗങ്ങളായിരുന്ന തോമസ് ഡിംസണും ജോയി ഫ്ലിന്നും ഈ മാറ്റത്തെ അഭിമുഖീകരിക്കാനായി "In the Weights" പുറത്തിറക്കി.
ഈ പ്ലാറ്റ്ഫോം ഇൻഡക്സ് ചെയ്ത വെബ് പേജുകളിൽ നിന്ന് മാറി "weights"-ൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു—അതായത് ഒരു AI മോഡലിന്റെ ബുദ്ധിശക്തി നിർണ്ണയിക്കുന്ന സംഖ്യാപരമായ പാരാമീറ്ററുകൾ. തത്സമയ വെബ് സെർച്ച് ടൂളുകളുടെ സഹായമില്ലാതെ ഒരു മോഡലിന് ഒരു വ്യക്തിയെ എത്രത്തോളം കൃത്യമായി ഓർത്തെടുക്കാൻ കഴിയുമെന്ന് അളക്കുക എന്നതാണ് ഇതിന്റെ ലക്ഷ്യം; ചുരുക്കത്തിൽ, ഒരു വ്യക്തിയുടെ ഡാറ്റ മോഡലിന്റെ ട്രെയിനിംഗ് സെറ്റിൽ ആഴത്തിൽ പതിഞ്ഞിട്ടുണ്ടോ എന്ന് പരിശോധിക്കുകയാണ് ഇത് ചെയ്യുന്നത്.
സ്കോറിംഗ് സംവിധാനം എങ്ങനെ പ്രവർത്തിക്കുന്നു
OpenAI-യുടെ GPT സീരീസ്, Google-ന്റെ Gemini, Anthropic-ന്റെ Claude, Meta-യുടെ Llama, xAI-യുടെ Grok എന്നിവയുൾപ്പെടെയുള്ള പ്രമുഖ LLM-കളെ ഉപയോഗിച്ചാണ് ഈ ടൂൾ പ്രവർത്തിക്കുന്നത്. ഇതിന്റെ പ്രോംപ്റ്റ് ഘടന കൃത്യമാണ്: “ആരാണ് [പേര്]? ഓരോന്നിനും ഒരു ചെറിയ വിവരണവും കോൺഫിഡൻസും ഉൾപ്പെടെ പരമാവധി 10 ഫലങ്ങൾ നൽകുക” എന്ന് ഇത് മോഡലുകളോട് ചോദിക്കുന്നു.
വിവരങ്ങൾ ശേഖരിച്ചുകഴിഞ്ഞാൽ, പ്ലാറ്റ്ഫോം മൂന്ന് പ്രധാന സാങ്കേതിക ഘട്ടങ്ങൾ നിർവ്വഹിക്കുന്നു:
- Clustering: വിവിധ മോഡലുകളിൽ നിന്നുള്ള സമാനമായ വിവരണങ്ങളെ ഇത് ഒരുമിച്ച് ഗ്രൂപ്പ് ചെയ്യുന്നു.
- Strength Scoring: വിവരങ്ങൾ ഓർത്തെടുക്കുന്നതിലെ കൃത്യതയും വ്യക്തതയും അടിസ്ഥാനമാക്കി ഇത് ഒരു സംഖ്യാപരമായ സ്കോർ നൽകുന്നു.
- Hallucination Detection: GPT-4o Mini പോലുള്ള ഒരു മോഡൽ അവ്യക്തമോ തെറ്റായതോ ആയ വിവരങ്ങൾ നൽകുന്നതുപോലെയുള്ള വൈരുദ്ധ്യങ്ങളെ ഇത് ചൂണ്ടിക്കാണിക്കുന്നു.
വെയ്റ്റുകളിൽ ലഭ്യമായ വിവരങ്ങളുടെ സാന്ദ്രതയെ ലീഡർബോർഡ് പ്രതിഫലിപ്പിക്കുന്നു. Macaulay Culkin (സ്കോർ 988), Luciano Pavarotti തുടങ്ങിയ പ്രശസ്തർ മുൻനിരയിലുണ്ടെങ്കിലും, സാങ്കേതിക വിദഗ്ധരെപ്പോലെയുള്ള സാധാരണ ഉപയോക്താക്കൾക്ക് "AI തലച്ചോറിൽ" തങ്ങൾ എവിടെയാണെന്ന് മനസ്സിലാക്കാൻ ഈ ടൂൾ ഒരു താരതമ്യ മാനദണ്ഡം നൽകുന്നു.
എന്തുകൊണ്ടാണ് ഇത് AI മേഖലയിൽ പ്രധാനമാകുന്നത്
"In the Weights" എന്നത് വെറുമൊരു വൈറൽ ആകർഷണം മാത്രമല്ല; അത് ട്രെയിനിംഗ് ഡാറ്റയുടെ സാമൂഹിക സ്വാധീനത്തിലേക്കുള്ള ഒരു ജാലകമാണ്. മനുഷ്യജീവിതങ്ങൾ എങ്ങനെ അടിസ്ഥാനപരമായി ഫ്ലോട്ടിംഗ് പോയിന്റ് നമ്പറുകളായി (floating-point numbers) രേഖപ്പെടുത്തപ്പെടുന്നു എന്ന് ഈ പ്രോജക്റ്റ് എടുത്തുകാണിക്കുന്നു. ഫലങ്ങൾ വിശകലനം ചെയ്യുന്നതിലൂടെ, ഏത് മോഡലുകളാണ് പ്രത്യേക പക്ഷപാതങ്ങൾ (biases) കാണിക്കുന്നത് എന്നും, ഏത് വ്യക്തികൾക്കാണ് വലിയ സാംസ്കാരിക സ്വാധീനമുള്ളതെങ്കിലും വികീപീഡിയ എൻട്രി ഇല്ലാത്തതെന്നും പോലുള്ള ആഴത്തിലുള്ള സാങ്കേതികവും ധാർമ്മികവുമായ ചോദ്യങ്ങൾ അന്വേഷിക്കാൻ സ്രഷ്ടാക്കൾ ഉദ്ദേശിക്കുന്നു.
വിവരശേഖരണത്തിനായുള്ള പ്രാഥമിക ഇടമായി LLM-കൾ മാറുന്നതോടെ, അവയുടെ വെയ്റ്റുകളിൽ (weights) എന്തൊക്കെ ഉൾക്കൊള്ളുന്നുണ്ടെന്നും എന്തൊക്കെ ഇല്ലെന്നും മനസ്സിലാക്കുന്നത് ഗവേഷകർക്കും, ഉള്ളടക്ക സ്രഷ്ടാക്കൾക്കും (content creators), സെർച്ച് എൻജിനുകൾക്ക് ശേഷമുള്ള ലോകത്ത് തങ്ങളുടെ ദീർഘകാല ഡിജിറ്റൽ പൈതൃകത്തെക്കുറിച്ച് ആശങ്കയുള്ള വ്യക്തികൾക്കും നിർണ്ണായകമായിരിക്കും.
പ്രധാന കണ്ടെത്തലുകൾ
- ഡിജിറ്റൽ ഐഡന്റിറ്റിയിലെ മാറ്റം: സെർച്ച് എൻജിനുകളിൽ നിന്ന് LLM-കളിലേക്കുള്ള ട്രാഫിക് മാറുന്നതിനനുസരിച്ച്, "വാനിറ്റി സെർച്ചുകൾ" (vanity searches) വെബ് ഇൻഡക്സിംഗിൽ നിന്ന് മോഡൽ പാരാമീറ്ററുകൾ പരിശോധിക്കുന്നതിലേക്ക് മാറിക്കൊണ്ടിരിക്കുന്നു.
- ക്രോസ്-മോഡൽ ബെഞ്ച്മാർക്കിംഗ്: വിവിധ ആർക്കിടെക്ചറുകൾ (GPT, Claude, Llama, മുതലായവ) എങ്ങനെയാണ് പ്രത്യേക വിവരങ്ങൾ ഓർത്തെടുക്കുന്നത് എന്ന് താരതമ്യം ചെയ്യാൻ ഈ ടൂൾ ഒരു സവിശേഷമായ മാർഗ്ഗം നൽകുന്നു.
- ഡാറ്റ എൻകോഡിംഗ്: മനുഷ്യവിവരങ്ങളുടെ വൻതോതിലുള്ള ശേഖരം ഇപ്പോൾ ന്യൂറൽ നെറ്റ്വർക്കുകൾക്കുള്ളിൽ സംഖ്യാപരമായ വെയ്റ്റുകളായി (numerical weights) സംഭരിക്കപ്പെടുന്നു എന്ന യാഥാർത്ഥ്യത്തെ ഈ പ്രോജക്റ്റ് അടിവരയിടുന്നു.