ജൂലൈ 16-ന് Moonshot AI, Kimi K3 പുറത്തിറക്കി. ഇത് തിരക്കേറിയ ലീഡർബോർഡിലെ വെറുമൊരു എൻട്രി മാത്രമായിരുന്നില്ല. ഏറ്റവും വലിയ...

ജൂലൈ 16-ന് Moonshot AI Kimi K3 പുറത്തിറക്കി. ഇത് തിരക്കേറിയ ലീഡർബോർഡുകളിലെ വെറുമൊരു എൻട്രി മാത്രമായിരുന്നില്ല. അന്നുവരെ കണ്ടിട്ടുള്ളതിൽ വെച്ച് ഏറ്റവും വലിയ ഓപ്പൺ-വെയ്റ്റ് (open-weight) സ്കെയിലിൽ, സാധാരണയായി സ്റ്റാർട്ടപ്പുകൾക്ക് താങ്ങാൻ കഴിയാത്ത എൻ്റർപ്രൈസ് ലൈസൻസിംഗ് ബില്ലുകൾക്കൊപ്പം ലഭിക്കുന്ന തരത്തിലുള്ള റീസണിംഗ് (reasoning), പ്രോസസ്സിംഗ് കരുത്താണ് ഇത് വാഗ്ദാനം ചെയ്തത്. നിങ്ങൾക്ക് ഇത് ഡൗൺലോഡ് ചെയ്യാനും മാറ്റങ്ങൾ വരുത്താനും സ്വന്തം സെർവറുകളിൽ പ്രവർത്തിപ്പിക്കാനും കഴിയും. ഓരോ ഡോളറും ശ്രദ്ധിക്കുന്ന ഒരു ഡെവലപ്പറെ സംബന്ധിച്ചിടത്തോളം, അവഗണിക്കാനാവാത്ത ഒരു ഓഫറാണിത്.

എന്നാൽ ഇതിൻ്റെ സ്റ്റിക്കർ പ്രൈസ് (sticker price) മാത്രമല്ല യഥാർത്ഥ വില.

ചൈനീസ് ഓപ്പൺ-വെയ്റ്റ് മോഡലുകൾ ഉപയോഗിച്ച് നിർമ്മിക്കുന്നതിൻ്റെ യഥാർത്ഥ ചിലവ് അപ്രതീക്ഷിത ഇടങ്ങളിലാണ് പ്രത്യക്ഷപ്പെടുന്നത്: കോൺഗ്രസ്സ് ഹിയറിംഗുകൾ, എക്‌സ്‌പോർട്ട് കൺട്രോൾ മെമ്മോകൾ, വാഷിംഗ്ടണിലെ പ്രതിരോധ വൃത്തങ്ങൾക്കിടയിലെ വർദ്ധിച്ചുവരുന്ന ആശങ്കകൾ എന്നിവയിൽ. പ്രൊപ്രൈറ്ററി API-കളെ ഒഴിവാക്കാൻ നിങ്ങളെ സഹായിക്കുന്ന അതേ ഓപ്പൺനെസ്സ് ആണ് നയരൂപകർത്താക്കളെ പരിഭ്രാന്തരാക്കുന്നത്. വെയ്റ്റുകൾ (weights) ഓപ്പൺ ആണെങ്കിൽ, ആ മോഡൽ വെറുമൊരു സോഫ്റ്റ്‌വെയർ മാത്രമല്ല; അത് ഒരു ഇൻഫ്രാസ്ട്രക്ചർ (infrastructure) ആയി മാറുന്നു. വിദേശത്ത് നിർമ്മിച്ച ഇൻഫ്രാസ്ട്രക്ചറുകൾക്ക് രാഷ്ട്രീയമായ പ്രാധാന്യമുണ്ട്.

തുടക്കത്തിൽ ലാഭകരമായി തോന്നാം

ഈ മോഡലുകൾ എന്തുകൊണ്ടാണ് ഇത്ര വേഗത്തിൽ പ്രചരിക്കുന്നത് എന്നതിനെക്കുറിച്ച് നമുക്ക് സത്യസന്ധമായി സംസാരിക്കാം. ഒരു വെസ്റ്റേൺ ക്ലോസ്ഡ്-സോഴ്സ് API നിങ്ങളുടെ ഉപഭോക്താക്കളുടെ എണ്ണം കൂടുന്നതിനനുസരിച്ച് വലിയ ഫീസ് ഈടാക്കിയേക്കാം. ടോക്കൺ ചിലവുകൾ വർദ്ധിക്കുന്നു. റേറ്റ് ലിമിറ്റുകൾ നിങ്ങളുടെ ഉൽപ്പന്നത്തിൻ്റെ വേഗത കുറയ്ക്കുന്നു. നിങ്ങൾ ബുദ്ധിശക്തിയെ വാടകയ്ക്ക് എടുക്കുകയാണ്, ആ വാടകക്കാരൻ ഏതുസമയത്തും നിബന്ധനകൾ മാറ്റിയേക്കാം.

Kimi K3 പോലുള്ള ഒരു ഓപ്പൺ-വെയ്റ്റ് മോഡൽ ആ ബന്ധത്തെ പാടെ മാറ്റുന്നു. നിങ്ങൾ പാരാമീറ്ററുകൾ (parameters) ഒരിക്കൽ മാത്രം ഡൗൺലോഡ് ചെയ്യുന്നു. അവ നിങ്ങൾക്ക് സ്വന്തമായി ലോക്കലായോ അല്ലെങ്കിൽ നിങ്ങൾ നിയന്ത്രിക്കുന്ന ഒരു ക്ലൗഡ് ഇൻസ്റ്റൻസിലോ ഹോസ്റ്റ് ചെയ്യാം. നിങ്ങളുടെ ഇൻഫറൻസ് (inference) ചിലവുകൾ വൈദ്യുതിക്കും ഹാർഡ്‌വെയർ വാടകയ്ക്കും മാത്രമായി ചുരുങ്ങുന്നു. കസ്റ്റമർ സപ്പോർട്ട് ടിക്കറ്റുകൾ പ്രോസസ്സ് ചെയ്യുന്ന ഒരു SaaS സ്റ്റാർട്ടപ്പിനോ, അല്ലെങ്കിൽ ഒരു ഇന്റേണൽ നോളജ് ബേസ് നിർമ്മിക്കുന്ന ഇടത്തരം സംരംഭത്തിനോ ഈ കണക്ക് വളരെ ആകർഷകമാണ്. നിങ്ങൾ ഇനി ഓരോ ക്വറിനും പണം നൽകേണ്ടതില്ല. നിങ്ങൾ കമ്പ്യൂട്ടിന് (compute) പണം നൽകുകയാണ്, കമ്പ്യൂട്ടിൻ്റെ വില കുറഞ്ഞുകൊണ്ടിരിക്കുകയാണ്.

കസ്റ്റമൈസേഷൻ (customization) എന്ന വശവും ഇതിനുണ്ട്. ക്ലോസ്ഡ് മോഡലുകൾ ഒരു ബ്ലാക്ക് ബോക്സ് പോലെയാണ്. നിങ്ങൾ ഒരു പ്രോംപ്റ്റ് നൽകുന്നു, മറുപടി ലഭിക്കുന്നു, ഓരോ പുതിയ വേർഷനിലും ഒരേ രീതിയിലുള്ള പെരുമാറ്റം ഉണ്ടാകുമെന്ന് നിങ്ങൾ പ്രത്യാശിക്കുന്നു. എന്നാൽ ഓപ്പൺ വെയ്റ്റുകൾ ഉള്ളതുകൊണ്ട്, നിങ്ങളുടെ എഞ്ചിനീയർമാർക്ക് പ്രത്യേക ജോലികൾക്കായി മോഡലിനെ ഫൈൻ ട്യൂൺ ചെയ്യാനോ (fine-tune), പ്രൂൺ ചെയ്യാനോ (prune), ഡിസ്റ്റിൽ ചെയ്യാനോ (distill) സാധിക്കും. ഒരു ഫിൻടെക് കമ്പനിക്ക് തങ്ങളുടെ ഉടമസ്ഥതയിലുള്ള ഫ്രോഡ് പാറ്റേണുകൾ ഉപയോഗിച്ച് ഇത് പരിശീലിപ്പിക്കാം. ഒരു മാനുഫാക്ചറർക്ക് സെൻസിറ്റീവ് ആയ വിവരങ്ങൾ ആയിരക്കണക്കിന് മൈലുകൾ അകലെയുള്ള ഒരു തേർഡ് പാർട്ടി സെർവറിലേക്ക് അയക്കാതെ തന്നെ എഡ്ജ് ഡിവൈസുകളിൽ (edge devices) ഇത് നേരിട്ട് ഉൾപ്പെടുത്താം.

ആ നിയന്ത്രണം പ്രധാനമാണ്. അതുകൊണ്ടാണ് ഇതിൻ്റെ ആകർഷണം വെറും ലാഭത്തിൽ മാത്രം ഒതുങ്ങാത്തത്. ഇത് സ്വയംഭരണാധികാരത്തെക്കുറിച്ചാണ് (autonomy).

നിബന്ധനകളോടെ വരുന്ന വെയ്റ്റുകൾ

പ്രശ്നം എന്തെന്നാൽ, സ്വയംഭരണാധികാരം എന്നത് നിങ്ങൾ നിൽക്കുന്ന മണ്ണ് സുസ്ഥിരമായിരിക്കും എന്ന അനുമാനത്തിലാണ് നിലനിൽക്കുന്നത്. ഈ മോഡലുകൾ നല്ലതാണോ എന്നല്ല വാഷിംഗ്ടൺ ഇപ്പോൾ ചോദിക്കുന്നത്. മറിച്ച്, യുഎസ് സമ്പദ്‌വ്യവസ്ഥയുടെ വലിയൊരു ഭാഗം ഇവയെ ആശ്രയിച്ചാൽ എന്ത് സംഭവിക്കും എന്നാണ്.

നയപരമായ ചർച്ചകൾ വലിയ രീതിയിൽ മാറിപ്പോയിരിക്കുന്നു. ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസിനെക്കുറിച്ചുള്ള മുൻകാല ചർച്ചകൾ ബയാസ് (bias), സുരക്ഷ അല്ലെങ്കിൽ നിലനിൽപ്പിനുള്ള ഭീഷണി എന്നിവയിലായിരുന്നു ശ്രദ്ധ കേന്ദ്രീകരിച്ചിരുന്നത്. എന്നാൽ ഇപ്പോൾ ആശങ്ക സാങ്കേതിക പരമാധികാരമാണ് (technological sovereignty). ഒരു കമ്പനി ചൈനീസ് വികസിപ്പിച്ച വെയ്റ്റുകൾ തങ്ങളുടെ ഉൽപ്പന്നത്തിൽ ഉൾപ്പെടുത്തുമ്പോൾ, മോഡലിൻ്റെ പ്രവചന കൃത്യതയുമായി ബന്ധമില്ലാത്ത സിസ്റ്റമിക് വീഴ്ചകളെക്കുറിച്ച് (systemic vulnerabilities) നയരൂപകർത്താക്കൾ ആശങ്കപ്പെടുന്നു.

ഇത് പ്രായോഗികമായി ചിന്തിച്ചു നോക്കൂ. ഓപ്പൺ വെയ്റ്റുകൾക്ക് ഇപ്പോഴും അപ്‌ഡേറ്റുകളും ടൂളിംഗ് ഇക്കോസിസ്റ്റങ്ങളും കമ്മ്യൂണിറ്റി പിന്തുണയും ആവശ്യമാണ്. ഒരു മോഡൽ നിങ്ങളുടെ ഉൽപ്പന്നത്തിൻ്റെ അടിസ്ഥാന ഘടകമായി മാറിയാൽ, നിങ്ങൾ വെറുമൊരു കോഡ് മാത്രമല്ല ഇറക്കുമതി ചെയ്യുന്നത്; നിങ്ങൾ ഒരു ഡിപെൻഡൻസി ചെയിൻ (dependency chain) ആണ് ഇറക്കുമതി ചെയ്യുന്നത്. ആ ആർക്കിടെക്ചറിനെ പിന്നീട് എക്‌സ്‌പോർട്ട് കൺട്രോളുകൾ ലക്ഷ്യം വെച്ചാൽ എന്ത് സംഭവിക്കും? ചില പാരാമീറ്റർ ഫയലുകൾ പ്രവർത്തിപ്പിക്കുന്നത് നിരോധിക്കുന്ന തരത്തിലുള്ള നിയമങ്ങൾ ഹോസ്റ്റിംഗ് പ്രൊവൈഡർമാർക്ക് നേരിടേണ്ടി വന്നാൽ എന്ത് സംഭവിക്കും? ഭാവിയിൽ ഏർപ്പെടുത്തിയേക്കാവുന്ന ഉപരോധങ്ങൾ വാണിജ്യാവശ്യങ്ങൾക്കായി ഇത്തരം മോഡലുകൾ ഉപയോഗിക്കുന്നത് നിയമവിരുദ്ധമാക്കിയാൽ എന്ത് സംഭവിക്കും?

ഇവ വെറും സിദ്ധാന്തപരമായ ചോദ്യങ്ങളല്ല. ചൈനീസ് സാങ്കേതിക കമ്പനികളെ എൻ്റിറ്റി ലിസ്റ്റുകളിൽ (entity lists) ഉൾപ്പെടുത്താനും ചില സോഫ്റ്റ്‌വെയറുകളുടെയും ഹാർഡ്‌വെയറുകളുടെയും ഉപയോഗം നിയന്ത്രിക്കാനും ട്രഷറി, കൊമേഴ്‌സ് വകുപ്പുകൾ തയ്യാറാണെന്ന് ഇതിനകം കാണിച്ചു കഴിഞ്ഞു. വില കുറഞ്ഞ ചൈനീസ് ജിപിയു (GPU) ഉപയോഗിച്ച് ബിസിനസ്സ് കെട്ടിപ്പടുത്ത സ്ഥാപനങ്ങൾ സപ്ലൈ ചെയിനുകൾ പെട്ടെന്ന് തകർന്നപ്പോൾ ഈ പാഠം കഠിനമായി പഠിക്കേണ്ടി വന്നു. വെയ്റ്റുകൾ വെറും ബിറ്റുകൾ മാത്രമാണ്, എന്നാൽ അവയെ നിയന്ത്രിക്കുന്ന നിയമപരമായ ചട്ടക്കൂടുകൾ സെമികണ്ടക്ടർ നിരോധനങ്ങളെപ്പോലെ വേഗത്തിൽ മാറാം.

ഒരു സിടിഒയെ (CTO) സംബന്ധിച്ചിടത്തോളം, ഇത് ജിറ (Jira) ടിക്കറ്റുകളിൽ കാണാത്ത ഒരു തരം ടെക്നിക്കൽ ഡെബ്റ്റ് (technical debt) ആണ്. ഒരു Kimi K3 ടൂൾചെയിൻ ഉപയോഗിക്കാൻ നിങ്ങളുടെ എഞ്ചിനീയറിംഗ് ടീമിനെ ആറ് മാസം പരിശീലിപ്പിക്കാനും, അത് നിങ്ങളുടെ CI/CD പൈപ്പ്‌ലൈനിൽ ഉൾപ്പെടുത്താനും, ഉപഭോക്താക്കൾക്കായി പുതിയ ഫീച്ചറുകൾ പുറത്തിറക്കാനും നിങ്ങൾ സമയം ചിലവഴിച്ചേക്കാം. എന്നാൽ ഒരു ഫെഡറൽ രജിസ്റ്റർ നോട്ടീസ് വന്നാൽ മാത്രം മതി, നിങ്ങൾക്ക് എല്ലാം മാറ്റേണ്ടി വരും. ഒരു മോഡൽ കുടുംബത്തിൽ നിന്ന് മറ്റൊന്നിലേക്ക് മാറുന്നത് ഒരു ഡാറ്റാബേസ് മാറ്റുന്നതുപോലെയല്ല. അതിന് പ്രോംപ്റ്റുകൾ വീണ്ടും ട്യൂൺ ചെയ്യാനും, ഔട്ട്‌പുട്ടുകൾ വീണ്ടും പരിശോധിക്കാനും, പലപ്പോഴും ഡൗൺസ്ട്രീം ക്ലാസിഫയറുകൾ (downstream classifiers) വീണ്ടും പരിശീലിപ്പിക്കാനും ആവശ്യമാണ്. ആ മാറ്റത്തിനുള്ള ചിലവ്, നിങ്ങൾ API ബില്ലുകളിൽ ലാഭിച്ചതിനേക്കാൾ എത്രയോ മടങ്ങ് കൂടുതലായിരിക്കാം.

സ്പ്ലിറ്റ് സ്റ്റാക്ക് എന്നാൽ ഇരട്ടി ജോലി എന്നാണ് അർത്ഥം

വാഷിംഗ്ടൺ ചില ചൈനീസ് മോഡലുകളോ അവയെ പിന്തുണയ്ക്കുന്ന ആർക്കിടെക്ചറുകളോ നിയന്ത്രിക്കാനുള്ള നടപടികളുമായി മുന്നോട്ട് പോയാൽ, ആഗോള AI വിപണി ഉയർന്ന വില നേരിടുക മാത്രമല്ല ചെയ്യുകയുള്ളൂ, മറിച്ച് അത് യഥാർത്ഥത്തിലുള്ള വിഭജനത്തിന് (fragmentation) സാക്ഷ്യം വഹിക്കുകയും ചെയ്യും.

ടെലികമ്മ്യൂണിക്കേഷൻ മാനദണ്ഡങ്ങളിലും സോഷ്യൽ മീഡിയ പ്ലാറ്റ്‌ഫോമുകളിലും നമ്മൾ ഇത്തരമൊരു സാഹചര്യം മുൻപ് കണ്ടിട്ടുണ്ട്, എന്നാൽ AI ഇൻഫ്രാസ്ട്രക്ചർ അതിനേക്കാൾ അടിസ്ഥാനപരമാണ്. ഒരു 'സ്പ്ലിറ്റ് സ്റ്റാക്ക്' (split stack) എന്നാൽ പൊരുത്തപ്പെടാത്ത ടൂൾചെയിനുകൾ (toolchains), വ്യത്യസ്തമായ സുരക്ഷാ ചട്ടക്കൂടുകൾ (safety frameworks), ആവർത്തിക്കപ്പെടുന്ന കംപ്ലയൻസ് നിയമങ്ങൾ (compliance regimes) എന്നിവ എന്നാണ് അർത്ഥമാക്കുന്നത്. ബെർലിനിലെ ഒരു ഡെവലപ്പർ യൂറോപ്യൻ വിപണിക്കായി ഒരു കൂട്ടം weights, guardrails എന്നിവ ഉപയോഗിച്ചേക്കാം, എന്നാൽ യുഎസ് വിന്യാസത്തിനായി (U.S. deployment) തികച്ചും വ്യത്യസ്തമായ ഒരു സ്റ്റാക്ക് ഉപയോഗിക്കേണ്ടി വന്നേക്കാം. ഇത് വെറുമൊരു ബുദ്ധിമുട്ട് മാത്രമല്ല, സാമ്പത്തികമായി വലിയ ബാധ്യതയുണ്ടാക്കുന്ന ഒന്നുകൂടിയാണ്.

എന്റർപ്രൈസ് പ്രൊക്യുർമെന്റ് ടീമുകൾക്ക് രണ്ട് വെണ്ടർമാരെ വീതം പരിശോധിക്കേണ്ടി വരും. ഡാറ്റാ പ്രൈവസിക്കായി നിലവിൽ പാലിക്കുന്ന അതേ കർശനമായ രീതിയിൽ തന്നെ മോഡലുകളുടെ ഉറവിടം (provenance) ട്രാക്ക് ചെയ്യാൻ ലീഗൽ ഡിപ്പാർട്ട്മെന്റുകൾക്ക് നിർബന്ധിതമാകും. ഓപ്പൺ സോഴ്സ് റിപ്പോസിറ്ററികൾ ദേശീയ അതിർവരമ്പുകൾ അനുസരിച്ച് വിഭജിക്കപ്പെട്ടേക്കാം (fork), കൂടാതെ ജനപ്രിയമായ ഫൈൻ-ട്യൂണിംഗ് ലൈബ്രറികളിലേക്കുള്ള ചൈനീസ് സംഭാവനകൾ കർശനമായ പരിശോധനകൾക്കോ ഒഴിവാക്കലുകൾക്കോ വിധേയമായേക്കാം. ഓപ്പൺ-വെയിറ്റ് ഡെവലപ്‌മെന്റിനെ നിർവചിച്ചിരുന്ന സഹകരണത്തിന്റെ അടിസ്ഥാനം തകരാൻ തുടങ്ങും.

ചെറിയ കമ്പനികളെ സംബന്ധിച്ചിടത്തോളം, ഈ വിഭജനം (bifurcation) ഏറെ കഠിനമാണ്. മൈക്രോസോഫ്റ്റ് അല്ലെങ്കിൽ ഗൂഗിൾ പോലുള്ള വമ്പൻ കമ്പനികൾക്ക്