91% પાસ રેટ. ગેટ ગ્રીન. શિપ કર્યું. અત્યાર સુધીનું સૌથી ખરાબ રિગ્રેશન.

અમે ઇન્ટેન્ટ-ક્લાસિફિકેશન ટેસ્ટમાં 91% પાસ રેટ મેળવ્યો. થ્રેશોલ્ડ 90% હતો. અમે તે પાર કરી લીધું. અમે કોડ શિપ કર્યો.

તે આ ક્વાર્ટરનું અમારું સૌથી ખરાબ રિગ્રેશન હતું.

સમસ્યા અમારા ગણિતમાં હતી. અમારો ઇવેલ્યુએશન સ્કોર અઠવાડિયા સુધી 96% અથવા 97% પર રહ્યો. પછી, એક ફેરફારે એક ચોક્કસ સ્લાઇસને બગાડી નાખ્યો: અસ્પષ્ટ રિફંડ વિનંતીઓ (ambiguous refund requests). તે સ્લાઇસ 98% થી ઘટીને 74% થઈ ગઈ.

તે સ્લાઇસ અમારા કુલ ટ્રાફિકના 4% રજૂ કરે છે. કારણ કે અમે સરેરાશ (average) જોતા હતા, તેથી કુલ સ્કોર માત્ર 91% સુધી જ ઘટ્યો. ગેટ ગ્રીન રહ્યો.

એગ્રીગેટ્સ નોઈસની અંદર નિષ્ફળતાઓને છુપાવે છે.

તે સ્લાઇસના વપરાશકર્તાઓએ 91% જોયું નહીં. તેમણે 74% જોયું. સ્ટેટિક થ્રેશોલ્ડ તમને જણાવે છે કે આખું સિસ્ટમ ખરાબ થઈ રહ્યું છે કે નહીં. તે તમને એ નથી જણાવતું કે તમારી સિસ્ટમનો કોઈ એક ભાગ નાશ પામી રહ્યો છે. જો 96 સ્લાઇસ બરાબર હોય અને એક ક્રેશ થાય, તો ઊંચી સરેરાશ તે ક્રેશને છુપાવી દે છે. તમે તમારા ટેસ્ટિંગ ટૂલ્સને બદલે સપોર્ટ ટિકિટો દ્વારા ભૂલ શોધી કાઢો છો.

અમે અમારી વ્યૂહરચના બદલી. અમે એબ્સોલ્યુટ નંબર્સ પર ગેટિંગ કરવાનું બંધ કર્યું. હવે અમે છેલ્લી સફળ રન સામે ગેટિંગ કરીએ છીએ.

અમે બે નિયમોનો ઉપયોગ કરીએ છીએ. બંને પાસ થવા જોઈએ:

  • કોઈપણ એક સ્લાઇસ બેઝલાઇન સામે 3 પોઈન્ટથી વધુ ન ઘટે.
  • કુલ એગ્રીગેટ બેઝલાઇન સામે 1.5 પોઈન્ટથી વધુ ન ઘટે.

અમારી તાજેતરની નિષ્ફળતામાં, રિફંડ સ્લાઇસ 24 પોઈન્ટ ઘટી હતી. નિયમ એક તેને તરત જ પકડી લેત.

ડેલ્ટા ગેટિંગ ટ્રેપ્સ (delta gating traps) થી સાવધ રહો. જો તમારી બેઝલાઇન દરેક રન સાથે અપડેટ થાય છે, તો તમે ધીમે ધીમે નિષ્ફળતા તરફ જઈ શકો છો. દરરોજ 0.5 પોઈન્ટનો ઘટાડો દરેક ટેસ્ટમાં પાસ થઈ જાય છે. તમે ધીમે ધીમે ખરાબ પ્રોડક્ટ તરફ સરકતા જાઓ છો.

તમારા ટેસ્ટિંગને સુધારવા માટે આ પગલાં અનુસરો:

  • તમારી મેઈન બ્રાન્ચ ગ્રીન હોય ત્યારે જ તમારી બેઝલાઇન અપડેટ કરો.
  • સ્કોરમાં કોઈપણ ઇરાદાપૂર્વકના ઘટાડા માટે માનવીય મંજૂરી (human approval) લેવી જરૂરી બનાવો.
  • તમારી બેઝલાઇન એ શું કામ કરે છે તેનો રેકોર્ડ હોવો જોઈએ, માત્ર છેલ્લે શું થયું તેનો જ નહીં.
  • તમારી છેલ્લી 5 ગ્રીન રનનો વેરિઅન્સ (variance) તપાસો. જો કોઈ સ્લાઇસ તમારા થ્રેશોલ્ડ કરતા વધુ બદલાય છે, તો તમારો થ્રેશોલ્ડ માત્ર નોઈસ છે.
  • તમારી સૌથી નાની સ્લાઇસનું ટેસ્ટિંગ કરો. એ પૂછો કે એગ્રીગેટ નોંધે તે પહેલાં તે કેટલો ઘટાડો થઈ શકે છે. જો જવાબ મોટો આંકડો હોય, તો તમારો એગ્રીગેટ ભૂલો છુપાવી રહ્યો છે.

સ્ત્રોત: https://dev.to/ethanwritesai/91-pass-rate-gate-green-shipped-worst-regression-we-had-all-quarter-4dfn

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi