സോഫ്റ്റ്വെയർ ടെസ്റ്റിംഗ് എപ്പോഴും സമയത്തോടുള്ള ഒരു മത്സരമാണ്. റിലീസ് വിൻഡോകൾ ചുരുങ്ങുന്നു. കോഡ്ബേസുകൾ വളരുന്നു. കാര്യങ്ങൾ തകരാറിലാക്കാതെ വേഗത്തിൽ ഷിപ്പ് ചെയ്യാൻ ടീമുകളിൽ നിന്ന് പ്രതീക്ഷിക്കുന്നു. അടുത്ത കാലത്തായി, ആശ്വാസം വാഗ്ദാനം ചെയ്തുകൊണ്ട് AI ഈ സമ്മർദ്ദസാഹചര്യത്തിലേക്ക് കടന്നുവന്നു. നിമിഷങ്ങൾക്കുള്ളിൽ ടെസ്റ്റ് കേസുകൾ നിർമ്മിക്കാനും, ആയിരക്കണക്കിന് വരികളായുള്ള കോഡിലെ അപാകതകൾ പരിശോധിക്കാനും, നിങ്ങളുടെ ടീം ഉറങ്ങുമ്പോൾ ആവർത്തന സ്വഭാവമുള്ള ടെസ്റ്റ് സ്യൂട്ടുകൾ പ്രവർത്തിപ്പിക്കാനും ഇതിന് കഴിയും. വേഗത യഥാർത്ഥമാണ്. എന്നാൽ ദിശയില്ലാത്ത വേഗത അപകടത്തിലേക്കുള്ള വേഗമേ ആകുന്നുള്ളൂ.
ടെസ്റ്റിംഗിലെ AI ഒരു ഓട്ടോപൈലറ്റ് അല്ല, മറിച്ച് ഒരു ആക്സിലറേറ്റർ (accelerator) ആയി പ്രവർത്തിക്കുമ്പോഴാണ് ഏറ്റവും മികച്ചത് എന്നതാണ് യാഥാർത്ഥ്യം. ശരിയായി ഉപയോഗിച്ചാൽ, ഇത് കഠിനമായ ജോലികൾ കുറയ്ക്കുകയും ബഗുകൾ നേരത്തെ കണ്ടെത്തുകയും ചെയ്യുന്നു. അശ്രദ്ധമായി ഉപയോഗിച്ചാൽ, ഇത് കാഴ്ചപ്പാടുകൾക്ക് പുറത്തുള്ള പ്രശ്നങ്ങൾ (blind spots) സൃഷ്ടിക്കുകയും നിങ്ങൾക്ക് തെറ്റായ സുരക്ഷിതബോധം നൽകുകയും ചെയ്യുന്നു. AI എവിടെ സഹായിക്കുന്നുവെന്നും എവിടെ പരാജയപ്പെടുന്നുവെന്നും മനസ്സിലാക്കുന്നത്, സുസ്ഥിരമായ സോഫ്റ്റ്വെയർ വിതരണം ചെയ്യുന്നതും കൃത്യസമയത്ത് തകരാറുള്ള കോഡ് വിതരണം ചെയ്യുന്നതും തമ്മിലുള്ള വ്യത്യാസമാണ്.
AI എവിടെയാണ് അതിന്റെ സ്ഥാനം നേടിയെടുക്കുന്നത്
AI നന്നായി കൈകാര്യം ചെയ്യുന്ന കാര്യങ്ങളിൽ നിന്ന് തുടങ്ങാം. ആവർത്തന സ്വഭാവമുള്ള റിഗ്രഷൻ ടെസ്റ്റിംഗ് (regression testing) ഇതിൽ ഒരു വലിയ നേട്ടമാണ്. ഡസൻ കണക്കിന് ബ്രൗസറുകളിലും ഉപകരണങ്ങളിലും ഒരേ ലോഗിൻ ഫ്ലോകൾ, ഫോം വാലിഡേഷനുകൾ, ചെക്കൗട്ട് ഘട്ടങ്ങൾ എന്നിവ പ്രവർത്തിപ്പിക്കുന്നത് മനുഷ്യർക്ക് മടുപ്പിക്കുന്നതും എന്നാൽ മെഷീനുകൾക്ക് വളരെ എളുപ്പമുള്ളതുമാണ്. AI അധിഷ്ഠിത ടെസ്റ്റ് റണ്ണറുകൾക്ക് ഈ സ്യൂട്ടുകൾ രാത്രികാലങ്ങളിൽ പ്രവർത്തിപ്പിക്കാനും, ഒരു തളർന്ന എഞ്ചിനീയർ ശ്രദ്ധിക്കാതെ പോയേക്കാവുന്ന വിഷ്വൽ റിഗ്രഷനുകളോ പെർഫോമൻസ് കുറവോ കണ്ടെത്താനും കഴിയും.
ടെസ്റ്റ് ഡാറ്റാ ജനറേഷൻ (Test data generation) മറ്റൊരു കരുത്തുറ്റ മേഖലയാണ്. യഥാർത്ഥമെന്ന് തോന്നിക്കുന്ന എന്നാൽ വ്യാജമായ പേരുകൾ, വിലാസങ്ങൾ, ഇടപാടുകളുടെ ചരിത്രം, ടൈം സോണുകൾ എന്നിവയുൾപ്പെടെ പതിനായിരം റെക്കോർഡുകൾ നിങ്ങൾക്ക് ആവശ്യമായി വരുമ്പോൾ, AI അത് പെട്ടെന്ന് തയ്യാറാക്കി നൽകും. ഒരു ഡാറ്റാബേസ് ലോഡ്-ടെസ്റ്റ് ചെയ്യുമ്പോഴോ നിങ്ങളുടെ അനലിറ്റിക്സ് ഡാഷ്ബോർഡ് ഉയർന്ന ഡാറ്റ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നു എന്ന് പരിശോധിക്കുമ്പോഴോ ഇത് വളരെ പ്രധാനമാണ്. ഇത്രയും വലിയ അളവിൽ ഡാറ്റ മാനുവലായി നിർമ്മിക്കുന്നത് സാവധാനത്തിൽ മാത്രം നടക്കുകയല്ല, മറിച്ച് അത് യാഥാർത്ഥ്യത്തിന് നിരക്കാത്തതുമാണ്.
ബോയിലർപ്ലേറ്റ് (boilerplate) ടെസ്റ്റ് സ്ക്രിപ്റ്റുകൾ എഴുതുന്നതിനും AI വേഗത കൂട്ടുന്നു. ഒരു പുതിയ API എൻഡ്പോയിന്റിന് സ്റ്റാൻഡേർഡ് യൂണിറ്റ് ടെസ്റ്റ് ആവശ്യമുണ്ടെങ്കിലോ അല്ലെങ്കിൽ ഒരു പേജ് ലോഡ് ആകുന്നുണ്ടോ എന്ന് പരിശോധിക്കാനുള്ള അടിസ്ഥാന സ്ക്രിപ്റ്റ് ആവശ്യമുണ്ടെങ്കിലോ, ഒരു AI അസിസ്റ്റന്റിന് അതിന്റെ ഘടന (scaffold) തയ്യാറാക്കാൻ കഴിയും. എല്ലാം ആദ്യം മുതൽ ടൈപ്പ് ചെയ്യാതെ തന്നെ നിങ്ങൾക്ക് അതിന്റെ ഘടനയും ഡമ്മി ഇൻപുട്ടുകളും അസർഷൻ പ്ലേസ്ഹോൾഡറുകളും ലഭിക്കുന്നു. ഇത് ഒരു നല്ല തുടക്കമാണ്.
ഈ ഗുണങ്ങൾ പ്രായോഗികമാണ്. വിപുലമായ ടെസ്റ്റുകൾ നടത്തുന്നതിനുള്ള ചിലവ് കുറയുന്നതിനാൽ ബഗുകൾ നേരത്തെ കണ്ടെത്താൻ കഴിയുന്നു. ആവർത്തന ജോലികൾ മനുഷ്യന്റെ സമയം നഷ്ടപ്പെടുത്തുന്നത് ഒഴിവാകുന്നു. ടീമിന് കൂടുതൽ സങ്കീർണ്ണമായ പ്രശ്നങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ കഴിയും.
ആരും ചർച്ച ചെയ്യാത്ത കാഴ്ചപ്പാടുകൾക്ക് പുറത്തുള്ള പ്രശ്നങ്ങൾ
ടീമുകൾ വിപുലമായ കവറേജ് (broad coverage) എന്നത് ആഴത്തിലുള്ള കവറേജ് (deep coverage) ആണെന്ന് തെറ്റിദ്ധരിക്കുമ്പോഴാണ് പ്രശ്നം തുടങ്ങുന്നത്. AI പാറ്റേണുകൾ കണ്ടെത്തുന്നു. അത് പരിശീലനം ലഭിച്ച ഡാറ്റയുടെ അടിസ്ഥാനത്തിൽ ഒരു സാധാരണ ബഗ് എങ്ങനെയിരിക്കുമെന്ന് പ്രവചിക്കുന്നു. അതിനർത്ഥം, സാധാരണ കാര്യങ്ങളിൽ അത് മികവ് പുലർത്തുന്നുണ്ടെങ്കിലും വിചിത്രമായ കാര്യങ്ങളിൽ അത് ആവർത്തിച്ച് പരാജയപ്പെടുന്നു എന്നാണ്.
എഡ്ജ് കേസുകൾ (edge cases) പരിഗണിക്കുക. സാധാരണ ഉപയോക്തൃ യാത്രകളിൽ (user journeys) പരിശീലനം ലഭിച്ച ഒരു മോഡൽ, ഒരു ഉപയോക്താവ് മൂന്ന് മോഡൽ ഡയലോഗുകൾ തുറക്കുകയും, ബ്രൗസറിലെ ബാക്ക് ബട്ടൺ അമർത്തുകയും, അസിൻക്രണസ് സേവിംഗിനിടെ പേജ് റിഫ്രഷ് ചെയ്യുകയും ചെയ്യുമ്പോൾ മാത്രം സംഭവിക്കുന്ന ബഗ് കണ്ടേക്കില്ല. ഇവ വെറും സങ്കൽപ്പങ്ങളല്ല. സ്റ്റാറ്റിസ്റ്റിക്കൽ ആയി അപൂർവ്വമായതിനാൽ ഒരു പരിശീലന ഡാറ്റാസെറ്റും കൃത്യമായി പ്രതിനിധീകരിക്കാത്ത ഇത്തരം ക്രമീകരണങ്ങളിൽ നിന്നാണ് പലപ്പോഴും പ്രൊഡക്ഷൻ പ്രശ്നങ്ങൾ ഉണ്ടാകുന്നത്. AI ബെൽ കർവിന്റെ (bell curve) മധ്യഭാഗത്തെയാണ് പിന്തുടരുന്നത്. എന്നാൽ നിങ്ങളുടെ ഏറ്റവും മോശമായ ബഗുകൾ അതിന്റെ അറ്റങ്ങളിലാണ് (tails) നിലനിൽക്കുന്നത്.
ഇവിടെ മനുഷ്യന്റെ ഉൾക്കാഴ്ച (intuition) പ്രധാനമാണ്. പരിചയസമ്പന്നനായ ഒരു ടെസ്റ്റർ ഒരു പുതിയ ഫീച്ചർ കാണുമ്പോൾ ബിസിനസ് റിസ്കിനെക്കുറിച്ച് ചിന്തിക്കുന്നു. ഒരു നിരാശനായ ഉപയോക്താവ് എങ്ങനെ ഒരു ഫോം ദുരുപയോഗം ചെയ്തേക്കാം എന്നോ, അല്ലെങ്കിൽ അവധി ദിവസങ്ങളിലെ തിരക്ക് കാരണം പേയ്മെന്റ് ഗേറ്റ്വേ ടൈം ഔട്ട് ആയാൽ എന്ത് സംഭവിക്കും എന്നോ അവർ ചോദിക്കുന്നു. ഇതാണ് കോൺടെക്സ്റ്റual ചിന്ത (contextual thinking). AI ബിസിനസ് സമ്മർദ്ദം അനുഭവിക്കുന്നില്ല. വർഷങ്ങൾക്ക് മുമ്പുള്ള ഒരു ലെഗസി ഇന്റഗ്രേഷൻ കാരണം നിങ്ങളുടെ ഇൻവെന്ററി സിസ്റ്റം ദുർബലമാണെന്ന് അതിന് അറിയില്ല. നിങ്ങളുടെ പ്രത്യേക ഡൊമെയ്നിന് ശരിയായത് എന്താണെന്നല്ല, മറിച്ച് ശരിയാണെന്ന് തോന്നുന്നത് എന്താണോ അതാണ് അത് എഴുതുന്നത്.
ഹാലൂസിനേഷൻ (hallucination), ബ്രൈറ്റിൽ ഓട്ടോമേഷൻ (brittle automation) എന്നിവയും ഒരു പ്രശ്നമാണ്. AI നിർമ്മിച്ച ടെസ്റ്റ് സ്ക്രിപ്റ്റുകൾ വിശ്വസനീയമായി തോന്നാമെങ്കിലും അവയിൽ തെറ്റായ സെലക്ടറുകൾ, തെറ്റായ അസർഷനുകൾ, അല്ലെങ്കിൽ അടുത്ത സ്പ്രിന്റിൽ മാറാൻ സാധ്യതയുള്ള DOM ഘടനയെക്കുറിച്ചുള്ള തെറ്റായ അനുമാനങ്ങൾ എന്നിവ ഉണ്ടാകാം. ഇവ വായിച്ചു നോക്കാതെ നിങ്ങൾ ഈ സ്ക്രിപ്റ്റുകൾ പ്രവർത്തിപ്പിച്ചാൽ, സമയം പാഴാക്കുന്ന ഫാൽസ് പോസിറ്റീവ്സോ (false positives) ബഗുകൾ കടന്നുപോകുന്ന ഫാൽസ് നെഗറ്റീവ്സോ (false negatives) നിങ്ങൾക്ക് ലഭിക്കും. ടെസ്റ്റ് ഡാഷ്ബോർഡിലെ ഒരു ഗ്രീൻ ചെക്ക്മാർക്ക് അർത്ഥശൂന്യമാണ്, കാരണം ആ ടെസ്റ്റ് യഥാർത്ഥത്തിൽ ശരിയായ പെരുമാറ്റം പരിശോധിക്കുന്നില്ലെങ്കിൽ.