AI ટેસ્ટિંગની જાળ
તમે કોઈને કહેતા સાંભળો છો કે "આ ક્વાર્ટરમાં અમે 40% વધુ ટેસ્ટ મોકલ્યા છે" અને દરેક વ્યક્તિ માથું હલાવે છે.
મેં ટોક્યોની એક SaaS કંપનીમાં આવું થતું જોયું છે. QA લીડ ગર્વ અનુભવતા હતા. મેનેજમેન્ટ ખુશ હતું. પાઇપલાઇન ગ્રીન હતી.
છ અઠવાડિયા પછી, પેમેન્ટ સિસ્ટમ 72 કલાક માટે બગડી ગઈ. કોઈએ ધ્યાન આપ્યું નહીં કારણ કે AI એ "સાચા ડેટા" ને બદલે માત્ર "કોઈ ભૂલ નથી" તે તપાસતા ટેસ્ટ લખ્યા હતા.
આ 'Testing Blindness' છે.
આવું ત્યારે થાય છે જ્યારે તમારી ટીમ ઘણા બધા ટેસ્ટ બનાવે છે પરંતુ તે ટેસ્ટ તમને ક્યારે છેતરે છે તે ઓળખી શકતી નથી. AI ટેસ્ટ કવરેજને ટેસ્ટ ક્વોલિટી સમજવાની ભૂલ કરવાનું સરળ બનાવે છે.
Qiita પરની એક તાજેતરની પોસ્ટ આ જ સંઘર્ષ દર્શાવે છે. એક એન્જિનિયરે ઓટોમેશન વગરના પ્રોજેક્ટ્સ હેન્ડલ કરવા માટે AI નો ઉપયોગ કર્યો. ટેસ્ટ ઝડપથી આવ્યા. મેટ્રિક્સ ખૂબ સારા દેખાતા હતા.
પરંતુ એન્જિનિયરે Playwright અને API ટેસ્ટિંગ મેન્યુઅલી શીખવું પડ્યું. કેમ? કારણ કે AI સિન્ટેક્સ લખી શકતું હતું, પરંતુ સિસ્ટમ કેવી રીતે કામ કરે છે તે તેને સમજાતું નહોતું.
Testing Blindness ના ત્રણ મુખ્ય લક્ષણો છે:
• Assertion Atrophy: ટેસ્ટ પાસ થાય છે કારણ કે તેઓ માત્ર એ તપાસે છે કે કોડ ક્રેશ થાય છે કે નહીં, નહીં કે તે યોગ્ય રીતે કામ કરે છે કે નહીં. • Boundary Case Blindness: AI "happy paths" પર ધ્યાન કેન્દ્રિત કરે છે. તે null inputs અથવા race conditions જેવા edge cases ને ચૂકી જાય છે. • Regression Confidence Inflation: તમને સુરક્ષિત લાગે છે કારણ કે ટેસ્ટની સંખ્યા બમણી થઈ ગઈ છે. વાસ્તવમાં, તમે માત્ર તમારો ખોટો આત્મવિશ્વાસ બમણો કર્યો છે.
મારા અનુભવ મુજબ, AI નો ઉપયોગ કરીને ટીમો મહિનાઓમાં શૂન્ય ટેસ્ટથી 1,200 ટેસ્ટ સુધી પહોંચી જાય છે. રિપોર્ટ્સ પરફેક્ટ લાગે છે. પરંતુ વાસ્તવિક બગ ડિટેક્શન રેટ (bug detection rate) ઘટી જાય છે.
જાપાનમાં, મેનેજમેન્ટ અને પ્રોસેસ (kanri) પરનું ધ્યાન આ ઊંચા આંકડાઓને સફળતા જેવું અનુભવાવી શકે છે. પશ્ચિમમાં, ટીમો ઘણીવાર ટેસ્ટ સ્કીપ કરે છે કારણ કે AI તેને સરળ બનાવે છે. બંને માર્ગો પ્રોડક્શન નિષ્ફળતા તરફ દોરી જાય છે.
AI મેટ્રિક્સ માટે ઓપ્ટિમાઇઝ કરે છે જ્યારે તે તમારી ડિબગ કરવાની ક્ષમતાને નુકસાન પહોંચાડે છે.
જો તમે QA માં AI નો ઉપયોગ કરો છો, તો આ નિયમોનું પાલન કરો:
- ટેસ્ટનું સાપ્તાહિક ઓડિટ કરો: 5 રેન્ડમ AI ટેસ્ટ પસંદ કરો. પૂછો: "કઈ બાબત આ ટેસ્ટને ખોટી રીતે પાસ કરાવી શકે છે?" જો તમે ઝડપથી જવાબ ન આપી શકો, તો તમારી પાસે એક blind spot છે.
- બાઉન્ડ્રી ક્વોટા નક્કી કરો: દરેક 10 AI ટેસ્ટ માટે, 2 edge case ટેસ્ટ મેન્યુઅલી લખો.
- 3am ટેસ્ટનો ઉપયોગ કરો: પૂછો કે શું આ ટેસ્ટ સવારે 3 વાગ્યે થતી નિષ્ફળતાને પકડી શકશે? જો તમે ચોક્કસ ન હોવ, તો તેઓ પૂરતા સારા નથી.
- એક મોડ્યુલ મેન્યુઅલ રાખો: એક મહત્વપૂર્ણ સેક્શન હાથથી ટેસ્ટ કરો. આ તમારી ડિબગિંગ કુશળતાને તેજ રાખશે.
ટેસ્ટના જથ્થાને ટેસ્ટની ગુણવત્તા સમજવાની ભૂલ ન કરો. કાર્યક્ષમતાને નિર્ણયશક્તિનું સ્થાન લેવા ન દો. જે ટેસ્ટ તમને બચાવે છે તે એ છે જે તમે ખરેખર સમજો છો.
શું તમારી ટીમે AI નો ઉપયોગ કર્યા પછી ટેસ્ટિંગની ગુણવત્તામાં ઘટાડો જોયો છે? તમારો અનુભવ નીચે શેર કરો.
વૈકલ્પિક લર્નિંગ કમ્યુનિટી: https://t.me/GyaanSetuAi