Founder Lab Shopify സ്റ്റോർ ഒരു AI അധിഷ്ഠിത സ്കോറിംഗ് ടൂൾ ഉപയോഗിച്ച് ആറ് തവണ സ്കാൻ ചെയ്തു. ഇതിൽ "intent" എന്ന ഘടകത്തിൽ മാത്രമാണ് മാറ്റം വന്നത്—അത് 4-നും 6-നും ഇടയിൽ മാറിക്കൊണ്ടിരുന്നു, എന്നാൽ മൊത്തത്തിലുള്ള ഫലം മാറ്റമില്ലാതെ തുടർന്നു. ഒരു ഷോപ്പിന്റെ AI-ജനറേറ്റഡ് റേറ്റിംഗിലെ ഒരു പോയിന്റിലെ മാറ്റം കേവലം സ്റ്റാറ്റിസ്റ്റിക്കൽ നോയിസ് (statistical noise) മാത്രമാകാം എന്നും യഥാർത്ഥ പുരോഗതിയല്ലെന്നും ഈ കണ്ടെത്തൽ വ്യക്തമാക്കുന്നു.

ഈ പരീക്ഷണം പ്രധാനപ്പെട്ടത് എന്തുകൊണ്ട്

ഷോപ്പ് ഉടമകൾ തങ്ങളുടെ സൈറ്റുകൾക്ക് ഒരു സംഖ്യാപരമായ റേറ്റിംഗ് നൽകുന്ന ഓട്ടോമേറ്റഡ് ടൂളുകളെ കൂടുതൽ ആശ്രയിക്കുന്നു. ഈ റേറ്റിംഗുകൾ വേഗത്തിലുള്ള ഒരു ഹെൽത്ത് ചെക്കും ഒപ്റ്റിമൈസേഷനായുള്ള ഒരു വഴികാട്ടിയുമാണ് വാഗ്ദാനം ചെയ്യുന്നത്. ഉയർന്ന സംഖ്യ എന്നാൽ മികച്ച സ്റ്റോർ എന്നാണ് പൊതുവായ ധാരണ, അതിനാൽ ഏത് വർദ്ധനവിനെയും ഒരു മാറ്റം ഫലപ്രദമായി എന്നതിന്റെ തെളിവായി കണക്കാക്കുന്നു. ഈ അനുമാനത്തെ ശരിയാണോ എന്ന് പരിശോധിക്കാൻ Founder Lab ആഗ്രഹിച്ചു. മാറ്റങ്ങളില്ലാത്ത ഒരു സ്റ്റോറിൽ തന്നെ ടൂൾ ഉപയോഗിച്ച് പരീക്ഷണം നടത്തുന്നതിലൂടെ, സ്കോർ സ്വയം എത്രത്തോളം വ്യതിയാനമുണ്ടാക്കുന്നു എന്ന് മനസ്സിലാക്കാൻ ടീമിന് സാധിച്ചു.

പരീക്ഷണം എങ്ങനെയായിരുന്നു

  • തിയതി 1 (ജൂലൈ 12): ഒരു സ്കാൻ, ആകെ സ്കോർ 78, intent 6.
  • തിയതി 2 (ജൂലൈ 17): അഞ്ച് സ്കാനുകൾ, ഓരോന്നും ഒരു മിനിറ്റിൽ താഴെ സമയം എടുത്തു, താഴെ പറയുന്ന ഫലങ്ങൾ ലഭിച്ചു:
    • Scan 1: 76 / 4
    • Scan 2: 76 / 4
    • Scan 3: 78 / 6
    • Scan 4: 77 / 5
    • Scan 5: 77 / 5

വിഷ്വൽ ഡിസൈൻ, schema markup, ട്രസ്റ്റ് സിഗ്നലുകൾ, ടെക്നിക്കൽ ഹെൽത്ത്, പ്രൈസിംഗ്, റെക്കമെൻഡേഷൻ, ബ്രാൻഡ് എന്നിങ്ങനെയുള്ള മറ്റ് സബ്-സ്കോറുകൾ എല്ലാ തവണയും ഒരേപോലെയായിരുന്നു. intent സബ്-സ്കോർ മാത്രമാണ് മാറിയത്. intent ഒഴിവാക്കിയുള്ള ആകെ സ്കോർ (78 – 6, 76 – 4, 77 – 5) എപ്പോഴും 72 ആയിരുന്നു. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, മൂല്യനിർണ്ണയത്തിലെ നിശ്ചിത ഘടകങ്ങൾ (deterministic parts) തികച്ചും സ്ഥിരമായിരുന്നു; AI അധിഷ്ഠിതമായ intent മൂല്യനിർണ്ണയം മാത്രമാണ് മാറിക്കൊണ്ടിരുന്നത്.

“intent”-ന്റെ മറഞ്ഞിരിക്കുന്ന ചാഞ്ചാട്ടം

ഒരു സ്റ്റോർ ഉപഭോക്താവിന്റെ ലക്ഷ്യങ്ങളുമായി എത്രത്തോളം യോജിക്കുന്നു എന്ന് അളക്കാൻ ശ്രമിക്കുന്ന അൽഗോരിതത്തിന്റെ ഭാഗമാണ് intent—അതായത് ഉൽപ്പന്നങ്ങളുടെ മിശ്രിതം, വിവരണങ്ങൾ (copy), അല്ലെങ്കിൽ മൊത്തത്തിലുള്ള സന്ദേശം എന്നിവ വാങ്ങാൻ വരുന്ന ഒരാൾ തിരയുന്നതിന് അനുയോജ്യമാണോ എന്നത്. മൊത്തത്തിലുള്ള റേറ്റിംഗ് ഒരു ഒറ്റ സംഖ്യയായി കാണുമ്പോൾ, ഈ വ്യതിയാനം ശ്രദ്ധിക്കപ്പെടാതെ പോകാൻ എളുപ്പമാണ്. ഒരു സ്റ്റോറിന്റെ റേറ്റിംഗ് 78-ൽ നിന്ന് 80 ആയി ഉയർന്നാൽ അത് പുരോഗതിയായി തോന്നാം, എന്നാൽ Founder Lab പരീക്ഷണം കണ്ടെത്തിയതുപോലെ ആ 2 പോയിന്റിലെ വ്യതിയാനം വെറും നോയിസ് മാത്രമാകാം.

ഡെവലപ്പർമാർ എന്തുകൊണ്ട് ഒന്നിലധികം തവണ സ്കാൻ ചെയ്യണം

ഈ പരീക്ഷണം ഒരു പ്രായോഗിക പാഠം നൽകുന്നു: ഒരു സ്കാനിൽ മാത്രം കാണുന്ന ഒന്നോ രണ്ടോ പോയിന്റുകളുടെ മാറ്റം, അത് വീണ്ടും തെളിയിക്കുന്നത് വരെ സംശയാസ്പദമായി കാണുക. ഒരു സൈറ്റിന്റെ ഒരേ അവസ്ഥയിൽ തന്നെ ടൂൾ പലതവണ പ്രവർത്തിപ്പിക്കുന്നത് ഒരു “noise floor” നൽകുന്നു—അതായത് മാറ്റങ്ങളൊന്നും വരുത്താത്തപ്പോൾ പ്രതീക്ഷിക്കാവുന്ന സ്കോറുകളുടെ പരിധി. പുതിയൊരു ഒപ്റ്റിമൈസേഷൻ ഈ പരിധിക്ക് പുറത്തുള്ള സ്കോർ സ്ഥിരമായി നൽകുന്നുണ്ടെങ്കിൽ, ആ മാറ്റം ഫലപ്രദമാണെന്നതിന് നിങ്ങൾക്ക് ശക്തമായ തെളിവുണ്ടാകും.

ഇനി ഒരു ഒറ്റ സ്കാനിംഗിനെ മാത്രം ഞങ്ങൾ വിശ്വസിക്കുന്നില്ല. ഏതൊരു യഥാർത്ഥ മാറ്റവും അത് വെറും നോയിസ് അല്ലെന്ന് തെളിയിക്കാൻ ഒന്നിലധികം സ്കാനുകൾ ആവശ്യമാണ്. ഇതിന്റെ ശ്രദ്ധ ഇപ്പോൾ മുൻഗണനാ ഘട്ടങ്ങളിലേക്ക് (upstream) മാറിയിരിക്കുന്നു: ഡെവലപ്പർമാർ ആദ്യം ടെക്നിക്കൽ ഹെൽത്ത്, സ്ട്രക്ചർഡ് ഡാറ്റ, സൈറ്റ് ആർക്കിടെക്ചർ തുടങ്ങിയ നിശ്ചിത ഘടകങ്ങൾ (deterministic factors) ഉറപ്പുവരുത്തുന്നു, കാരണം ഇവ സ്ഥിരമാണ് കൂടാതെ ഡെവലപ്പർമാരുടെ നേരിട്ടുള്ള നിയന്ത്രണത്തിലുമാണ്. ഈ അടിസ്ഥാന കാര്യങ്ങൾ ഉറപ്പായതിന് ശേഷം മാത്രമേ അവർ പ്രൊഡക്റ്റ് കോപ്പിയിലോ മറ്റ് intent-മായി ബന്ധപ്പെട്ട കാര്യങ്ങളിലോ പരീക്ഷണങ്ങൾ നടത്തുന്നുള്ളൂ, അപ്പോഴും ഫലങ്ങൾ ഒന്നിലധികം സ്കാനുകളിലൂടെ പരിശോധിക്കുന്നു.

വ്യാപാരികൾ നേരിടുന്ന വെല്ലുവിളികൾ

ഒരു ഷോപ്പ് ഉടമയെ സംബന്ധിച്ചിടത്തോളം, വ്യാജമായ പുരോഗതി എന്ന തോന്നൽ സമയവും പണവും നഷ്ടപ്പെടുത്താൻ കാരണമായേക്കാം. ഒരു 2 പോയിന്റ് വർദ്ധനവിനായി നിങ്ങൾ പിന്നാലെ പോയാൽ, യഥാർത്ഥത്തിൽ മാറ്റം വരുത്താത്ത കോപ്പി റൈറ്റിംഗിലോ, ഇമേജ് മാറ്റുന്നതിലോ, പ്രൈസിംഗ് പരീക്ഷണങ്ങളിലോ നിങ്ങൾ പണം ചിലവാക്കിയേക്കാം. നേരെമറിച്ച്, ഒരു യഥാർത്ഥ പുരോഗതി നോയിസ് പരിധിക്കുള്ളിലാണെന്ന് കരുതി അവഗണിച്ചാൽ, ഒരു വിജയകരമായ മാറ്റം കൂടുതൽ മെച്ചപ്പെടുത്താനുള്ള അവസരം നിങ്ങൾക്ക് നഷ്ടപ്പെട്ടേക്കാം.

എതിർവാദം: ഒറ്റ സ്കാനുകൾക്കും മൂല്യമുണ്ട്

വിഭവങ്ങൾ പരിമിതമായിരിക്കുമ്പോൾ ഉയർന്ന തലത്തിലുള്ള നിരീക്ഷണത്തിന് (high-level monitoring) ഒരു ഒറ്റ സ്കാൻ മതിയാകുമെന്ന് ചില വിദഗ്ധർ വാദിക്കുന്നു. ടെക്നിക്കൽ, schema, ട്രസ്റ്റ് തുടങ്ങിയ നിശ്ചിത ഘടകങ്ങൾ ഇതിനകം തന്നെ വിശ്വസനീയമാണെന്നും, intent സ്കോർ ചാഞ്ചാട്ടമുണ്ടാകുമെങ്കിലും അത് ഒരു ദിശാസൂചകമായി ഉപയോഗിക്കാമെന്നും അവർ ചൂണ്ടിക്കാട്ടുന്നു. ഒന്നിലധികം സ്കാനുകൾക്കായി കാത്തിരിക്കുന്നത് നടപടികൾ വൈകിപ്പിക്കാൻ സാധ്യതയുള്ള സാഹചര്യങ്ങളിൽ, ഒരു ഒറ്റ റീഡിംഗ് മാത്രമായിരിക്കാം പ്രായോഗികമായ ഏക മാർഗ്ഗം.

ഇവിടെ ഒരു വിട്ടുവീഴ്ചയുണ്ട് (trade-off): ഒറ്റ സ്കാൻ വേഗത നൽകുന്നു എന്നാൽ നോയിസിനോട് പ്രതികരിക്കാനുള്ള അപകടസാധ്യതയുണ്ട്; ഒന്നിലധികം സ്കാനുകൾ സമയം എടുക്കുമെങ്കിലും ആത്മവിശ്വാസം നൽകുന്നു. വ്യാപാരികൾ അവരുടെ പ്രവർത്തനരീതിക്കും റിസ്ക് എടുക്കാനുള്ള കഴിവിനും അനുയോജ്യമായ സന്തുലിതാവസ്ഥ ഏതാണെന്ന് തീരുമാനിക്കേണ്ടതുണ്ട്.

ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

  • ടൂൾ പ്രൊവൈഡർമാർ: സ്കോറിംഗ് പ്ലാറ്റ്‌ഫോമുകൾ അവരുടെ സ്വന്തം നോയിസ് എസ്റ്റിമേറ്റുകൾ പ്രസിദ്ധീകരിക്കുമോ അല്ലെങ്കിൽ വിശ്വസനീയമായ ഫലങ്ങൾക്കായി കുറഞ്ഞത് എത്ര തവണ സ്കാൻ ചെയ്യണമെന്ന് നിർദ്ദേശിക്കുമോ? മോഡൽ വ്യതിയാനത്തെക്കുറിച്ചുള്ള (model variance) സുതാര്യത ഒരു പ്രത്യേകതയായി മാറിയേക്കാം.
  • Shopify ഇക്കോസിസ്റ്റം: കൂടുതൽ വ്യാപാരികൾ AI സ്കോറിംഗ് സ്വീകരിച്ചു തുടങ്ങുമ്പോൾ, ആവർത്തിച്ചുള്ള പരിശോധനകളെക്കുറിച്ചുള്ള മികച്ച രീതികൾ (best practices) രൂപപ്പെട്ടേക്കാം. ഒരുപക്ഷേ ഒന്നിലധികം സ്കാനുകൾ ഓട്ടോമേറ്റ് ചെയ്യാനും ഡാറ്റ एकत्रित ചെയ്യാനും സഹായിക്കുന്ന പ്ലഗിനുകൾ ഇതിനായി വന്നേക്കാം.

പ്രധാന പാഠം

ഒരു AI നിർമ്മിത ഷോപ്പ് റേറ്റിംഗിന്റെ വിശ്വസനീയത അതിന്റെ അടിസ്ഥാന മോഡലിന്റെ സ്ഥിരതയെ ആശ്രയിച്ചിരിക്കും. മറ്റെല്ലാ കാര്യങ്ങളും മാറ്റമില്ലാതെ തുടരുമ്പോഴും, "intent" എന്ന ഭാഗത്തിൽ കുറച്ച് പോയിന്റുകളുടെ വ്യത്യാസം വരാമെന്ന് Founder Lab-ന്റെ ആറ് സ്കാനുകൾ ഉൾപ്പെടുത്തിയ പരീക്ഷണം കാണിക്കുന്നു. അതിനാൽ, ഡെവലപ്പർമാർ ചെറിയ സ്കോർ മാറ്റങ്ങളെ വെറും നോയിസ് (noise) ആയി കണക്കാക്കുകയും, മെച്ചപ്പെട്ട മാറ്റങ്ങൾ ഉറപ്പുവരുത്താൻ ഒന്നിലധികം സ്കാനുകൾ ഉപയോഗിക്കുകയും വേണം. കൂടാതെ, AI-sensitive ആയ ഭാഗങ്ങളിൽ മാറ്റം വരുത്തുന്നതിന് മുമ്പ്, തങ്ങളുടെ സ്റ്റോറുകളിലെ നിയന്ത്രിക്കാൻ കഴിയുന്ന (deterministic) കാര്യങ്ങൾ പരിഹരിക്കുന്നതിന് മുൻഗണന നൽകുകയും വേണം. ഇപ്പോൾ എടുക്കുന്ന ഈ അധിക പരിശ്രമം, പിന്നീട് അദൃശ്യമായ നേട്ടങ്ങൾക്ക് പിന്നാലെ പായാതിരിക്കാൻ സഹായിക്കും.