91% പാസ്സ് റേറ്റ്. ഗേറ്റ് ഗ്രീൻ. ഷിപ്പ് ചെയ്തു. ഏറ്റവും മോശം റിഗ്രഷൻ.

ഒരു intent-classification ടെസ്റ്റിൽ ഞങ്ങൾ 91% പാസ്സ് റേറ്റ് നേടി. നിശ്ചിത പരിധി (threshold) 90% ആയിരുന്നു. ഞങ്ങൾ ആ പരിധി മറികടന്നു. ഞങ്ങൾ കോഡ് ഷിപ്പ് ചെയ്തു.

ആ പാദത്തിലെ (quarter) ഞങ്ങളുടെ ഏറ്റവും മോശം റിഗ്രഷൻ ആയിരുന്നു അത്.

പ്രശ്നം ഞങ്ങളുടെ കണക്കുകളിലായിരുന്നു. ഞങ്ങളുടെ ഇവാലുവേഷൻ സ്കോർ ആഴ്ചകളോളം 96% അല്ലെങ്കിൽ 97% നിലനിന്നു. എന്നാൽ, ഒരു മാറ്റം ഒരു പ്രത്യേക വിഭാഗത്തെ (slice) ബാധിച്ചു: അവ്യക്തമായ റീഫണ്ട് അഭ്യർത്ഥനകൾ (ambiguous refund requests). ആ വിഭാഗത്തിന്റെ സ്കോർ 98%-ൽ നിന്ന് 74%-ലേക്ക് ഇടിഞ്ഞു.

ആ വിഭാഗം ഞങ്ങളുടെ ആകെ ട്രാഫിക്കിന്റെ 4% മാത്രമാണ്. ഞങ്ങൾ ശരാശരി (average) നോക്കിയതുകൊണ്ട്, ആകെ സ്കോർ 91%-ലേക്ക് മാത്രമേ കുറഞ്ഞുള്ളൂ. ഗേറ്റ് ഗ്രീൻ ആയി തന്നെ തുടർന്നു.

അഗ്രഗേറ്റുകൾ (Aggregates) പരാജയങ്ങളെ നോയിസിനുള്ളിൽ (noise) ഒളിപ്പിച്ചു വെക്കുന്നു.

ആ വിഭാഗത്തിലെ ഉപയോക്താക്കൾ കണ്ടത് 91% അല്ല, മറിച്ച് 74% ആണ്. ഒരു സ്റ്റാറ്റിക് ത്രെഷോൾഡ് (static threshold) നിങ്ങൾക്ക് പറഞ്ഞുതരുന്നത് മുഴുവൻ സിസ്റ്റവും തകർച്ചയിലാണോ എന്നാണ്. എന്നാൽ സിസ്റ്റത്തിന്റെ ഒരു ഭാഗം തകർന്നുകൊണ്ടിരിക്കുകയാണോ എന്ന് അത് പറയില്ല. 96 വിഭാഗങ്ങൾ ശരിയായിരിക്കുകയും ഒന്ന് തകരാറിലാകുകയും ചെയ്താൽ, ഉയർന്ന ശരാശരി ആ തകർച്ചയെ മറച്ചുവെക്കും. ടെസ്റ്റിംഗ് ടൂളുകൾക്ക് പകരം സപ്പോർട്ട് ടിക്കറ്റുകളിലൂടെയാണ് നിങ്ങൾ പിശക് കണ്ടെത്തുന്നത്.

ഞങ്ങൾ ഞങ്ങളുടെ തന്ത്രം മാറ്റി. കേവലമായ സംഖ്യകൾ (absolute numbers) വെച്ചുള്ള ഗേറ്റിംഗ് ഞങ്ങൾ നിർത്തലാക്കി. ഇപ്പോൾ ഞങ്ങൾ അവസാനമായി വിജയകരമായി നടന്ന റണ്ണിനെ (last successful run) അടിസ്ഥാനമാക്കിയാണ് ഗേറ്റിംഗ് നടത്തുന്നത്.

ഞങ്ങൾ രണ്ട് നിയമങ്ങൾ ഉപയോഗിക്കുന്നു. രണ്ടും പാലിക്കപ്പെടണം:

  • ബേസ്‌ലൈനിനെ (baseline) അപേക്ഷിച്ച് ഒരു വിഭാഗവും 3 പോയിന്റിൽ കൂടുതൽ താഴാൻ പാടില്ല.
  • ആകെ അഗ്രഗേറ്റ് ബേസ്‌ലൈനിനെ അപേക്ഷിച്ച് 1.5 പോയിന്റിൽ കൂടുതൽ താഴാൻ പാടില്ല.

ഞങ്ങളുടെ അടുത്ത പരാജയത്തിൽ, റീഫണ്ട് വിഭാഗം 24 പോയിന്റ് ഇടിഞ്ഞു. ഒന്നാമത്തെ നിയമം അത് ഉടൻ തന്നെ കണ്ടെത്തുമായിരുന്നു.

ഡെൽറ്റ ഗേറ്റിംഗ് കെണികളെ (delta gating traps) സൂക്ഷിക്കുക. നിങ്ങളുടെ ബേസ്‌ലൈൻ ഓരോ റണ്ണിലും അപ്‌ഡേറ്റ് ചെയ്യപ്പെടുകയാണെങ്കിൽ, നിങ്ങൾ പരാജയത്തിലേക്ക് നീങ്ങിക്കൊണ്ടിരിക്കാം. എല്ലാ ദിവസവും 0.5 പോയിന്റ് വീതം കുറഞ്ഞാൽ എല്ലാ ടെസ്റ്റുകളും പാസ്സാകും. നിങ്ങൾ സാവധാനം ഒരു മോശം ഉൽപ്പന്നത്തിലേക്ക് എത്തിച്ചേരും.

നിങ്ങളുടെ ടെസ്റ്റിംഗ് ശരിയാക്കാൻ ഈ ഘട്ടങ്ങൾ പിന്തുടരുക:

  • നിങ്ങളുടെ മെയിൻ ബ്രാഞ്ച് (main branch) ഗ്രീൻ ആണെങ്കിൽ മാത്രം ബേസ്‌ലൈൻ അപ്‌ഡേറ്റ് ചെയ്യുക.
  • സ്കോറുകളിൽ മനഃപൂർവം ഉണ്ടാകുന്ന കുറവുകൾ അംഗീകരിക്കാൻ ഒരു മനുഷ്യന്റെ (human approval) അനുമതി ആവശ്യമാണ്.
  • നിങ്ങളുടെ ബേസ്‌ലൈൻ എന്നത് പ്രവർത്തിക്കുന്ന കാര്യങ്ങളുടെ ഒരു റെക്കോർഡ് ആയിരിക്കണം, അവസാനമായി നടന്നത് മാത്രമല്ല.
  • നിങ്ങളുടെ അവസാനത്തെ 5 ഗ്രീൻ റണ്ണുകളുടെ വേരിയൻസ് (variance) പരിശോധിക്കുക. ഒരു വിഭാഗം നിങ്ങളുടെ ത്രെഷോൾഡിനേക്കാൾ കൂടുതൽ വ്യത്യാസപ്പെടുന്നുണ്ടെങ്കിൽ, നിങ്ങളുടെ ത്രെഷോൾഡ് വെറും നോയിസ് മാത്രമാണ്.
  • നിങ്ങളുടെ ഏറ്റവും ചെറിയ വിഭാഗം ടെസ്റ്റ് ചെയ്യുക. അഗ്രഗേറ്റ് ശ്രദ്ധിക്കുന്നതിന് മുമ്പ് അതിന് എത്രത്തോളം താഴാൻ കഴിയുമെന്ന് പരിശോധിക്കുക. ഉത്തരം വലിയൊരു സംഖ്യയാണെങ്കിൽ, നിങ്ങളുടെ അഗ്രഗേറ്റ് പിശകുകളെ മറച്ചുവെക്കുന്നു എന്നാണ് അർത്ഥം.

Source: https://dev.to/ethanwritesai/91-pass-rate-gate-green-shipped-worst-regression-we-had-all-quarter-4dfn

Optional learning community: https://t.me/GyaanSetuAi