91% ಪಾಸ್ ರೇಟ್. ಗೇಟ್ ಗ್ರೀನ್. ಶಿಪ್ ಮಾಡಲಾಗಿದೆ. ಇದುವರೆಗಿನ ಅತ್ಯಂತ ಕೆಟ್ಟ ರಿಗ್ರೆಷನ್ (Regression).

ನಾವು ಇಂಟೆಂಟ್-ಕ್ಲಾಸಿಫಿಕೇಶನ್ (intent-classification) ಪರೀಕ್ಷೆಯಲ್ಲಿ 91% ಪಾಸ್ ರೇಟ್ ತಲುಪಿದೆವು. ಮಿತಿಯು (threshold) 90% ಆಗಿತ್ತು. ನಾವು ಆ ಮಿತಿಯನ್ನು ದಾಟಿದೆವು. ನಾವು ಕೋಡ್ ಅನ್ನು ಶಿಪ್ ಮಾಡಿದೆವು.

ಇದು ಈ ತ್ರೈಮಾಸಿಕದ ನಮ್ಮ ಅತ್ಯಂತ ಕೆಟ್ಟ ರಿಗ್ರೆಷನ್ ಆಗಿತ್ತು.

ಸಮಸ್ಯೆ ನಮ್ಮ ಗಣಿತದಲ್ಲಿತ್ತು. ನಮ್ಮ ಇವ್ಯಾಲ್ಯೂಯೇಶನ್ ಸ್ಕೋರ್ (evaluation score) ವಾರಗಟ್ಟಲೆ 96% ಅಥವಾ 97% ರಲ್ಲೇ ಇತ್ತು. ನಂತರ, ಒಂದು ಬದಲಾವಣೆಯು ಒಂದು ನಿರ್ದಿಷ್ಟ ಸ್ಲೈಸ್ ಅನ್ನು (slice) ಹಾಳುಮಾಡಿತು: ಅಸ್ಪಷ್ಟ ರಿಫಂಡ್ ವಿನಂತಿಗಳು (ambiguous refund requests). ಆ ಸ್ಲೈಸ್ 98% ರಿಂದ 74% ಕ್ಕೆ ಕುಸಿಯಿತು.

ಆ ಸ್ಲೈಸ್ ನಮ್ಮ ಒಟ್ಟು ಟ್ರಾಫಿಕ್‌ನ 4% ರಷ್ಟಿದೆ. ನಾವು ಸರಾಸರಿಯನ್ನು ಗಮನಿಸಿದ್ದರಿಂದ, ಒಟ್ಟು ಸ್ಕೋರ್ ಕೇವಲ 91% ಕ್ಕೆ ಇಳಿಯಿತು. ಗೇಟ್ ಗ್ರೀನ್ ಆಗಿಯೇ ಇತ್ತು.

ಅಗ್ಲಿಗೇಟ್ಸ್ (Aggregates) ವೈಫಲ್ಯಗಳನ್ನು ಗೊಂದಲದ (noise) ನಡುವೆ ಮರೆಮಾಚುತ್ತವೆ.

ಆ ಸ್ಲೈಸ್‌ನಲ್ಲಿರುವ ಬಳಕೆದಾರರು 91% ಅನ್ನು ನೋಡಲಿಲ್ಲ. ಅವರು 74% ಅನ್ನು ನೋಡಿದರು. ಸ್ಟ್ಯಾಟಿಕ್ ಥ್ರೆಶೋಲ್ಡ್ (static threshold) ಇಡೀ ಸಿಸ್ಟಮ್ ಕುಸಿಯುತ್ತಿದೆಯೇ ಎಂದು ನಿಮಗೆ ತಿಳಿಸುತ್ತದೆ. ಆದರೆ ನಿಮ್ಮ ಸಿಸ್ಟಮ್‌ನ ಒಂದು ಭಾಗ ನಾಶವಾಗುತ್ತಿದೆಯೇ ಎಂದು ಅದು ಹೇಳುವುದಿಲ್ಲ. 96 ಸ್ಲೈಸ್‌ಗಳು ಸರಿಯಾಗಿದ್ದು ಒಂದು ಸ್ಲೈಸ್ ಕ್ರ್ಯಾಶ್ ಆದರೆ, ಹೆಚ್ಚಿನ ಸರಾಸರಿಯು ಆ ಕ್ರ್ಯಾಶ್ ಅನ್ನು ಮರೆಮಾಚುತ್ತದೆ. ನೀವು ನಿಮ್ಮ ಟೆಸ್ಟಿಂಗ್ ಟೂಲ್‌ಗಳ ಬದಲಿಗೆ ಸಪೋರ್ಟ್ ಟಿಕೆಟ್‌ಗಳ ಮೂಲಕ ದೋಷವನ್ನು ಪತ್ತೆಹಚ್ಚಬೇಕಾಗುತ್ತದೆ.

ನಾವು ನಮ್ಮ ಕಾರ್ಯತಂತ್ರವನ್ನು ಬದಲಾಯಿಸಿದೆವು. ನಾವು ಸಂಪೂರ್ಣ ಸಂಖ್ಯೆಗಳ (absolute numbers) ಆಧಾರದ ಮೇಲೆ ಗೇಟಿಂಗ್ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿದೆವು. ಈಗ ನಾವು ಕೊನೆಯ ಯಶಸ್ವಿ ರನ್ (last successful run) ಅನ್ನು ಆಧರಿಸಿ ಗೇಟಿಂಗ್ ಮಾಡುತ್ತೇವೆ.

ನಾವು ಎರಡು ನಿಯಮಗಳನ್ನು ಬಳಸುತ್ತೇವೆ. ಎರಡೂ ಪಾಸಾಗಬೇಕು:

  • ಯಾವುದೇ ಒಂದೇ ಸ್ಲೈಸ್ ಬೇಸ್‌ಲೈನ್ (baseline) ಗೆ ಹೋಲಿಸಿದರೆ 3 ಪಾಯಿಂಟ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚು ಇಳಿಯಬಾರದು.
  • ಒಟ್ಟು ಅಗ್ಲಿಗೇಟ್ ಬೇಸ್‌ಲೈನ್ ಗೆ ಹೋಲಿಸಿದರೆ 1.5 ಪಾಯಿಂಟ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚು ಇಳಿಯಬಾರದು.

ನಮ್ಮ ಇತ್ತೀಚಿನ ವೈಫಲ್ಯದಲ್ಲಿ, ರಿಫಂಡ್ ಸ್ಲೈಸ್ 24 ಪಾಯಿಂಟ್‌ಗಳಷ್ಟು ಕುಸಿಯಿತು. ಮೊದಲ ನಿಯಮವು ಇದನ್ನು ತಕ್ಷಣವೇ ಪತ್ತೆಹಚ್ಚುತ್ತಿತ್ತು.

ಡೆಲ್ಟಾ ಗೇಟಿಂಗ್ (delta gating) ಬಲೆಗಳ ಬಗ್ಗೆ ಎಚ್ಚರವಿರಲಿ. ನಿಮ್ಮ ಬೇಸ್‌ಲೈನ್ ಪ್ರತಿ ರನ್‌ನಲ್ಲಿ ಅಪ್‌ಡೇಟ್ ಆಗುತ್ತಿದ್ದರೆ, ನೀವು ವೈಫಲ್ಯದ ಕಡೆಗೆ ಜಾರಬಹುದು. ಪ್ರತಿದಿನ 0.5 ಪಾಯಿಂಟ್ ಇಳಿಕೆಯು ಪ್ರತಿ ಪರೀಕ್ಷೆಯಲ್ಲೂ ಪಾಸಾಗುತ್ತದೆ. ನೀವು ನಿಧಾನವಾಗಿ ಕೆಟ್ಟ ಉತ್ಪನ್ನದ ಕಡೆಗೆ ಜಾರುತ್ತೀರಿ.

ನಿಮ್ಮ ಟೆಸ್ಟಿಂಗ್ ಅನ್ನು ಸರಿಪಡಿಸಲು ಈ ಹಂತಗಳನ್ನು ಅನುಸರಿಸಿ:

  • ನಿಮ್ಮ ಮೇನ್ ಬ್ರಾಂಚ್ (main branch) ಗ್ರೀನ್ ಆಗಿದ್ದಾಗ ಮಾತ್ರ ನಿಮ್ಮ ಬೇಸ್‌ಲೈನ್ ಅನ್ನು ಅಪ್‌ಡೇಟ್ ಮಾಡಿ.
  • ಸ್ಕೋರ್‌ಗಳಲ್ಲಿ ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಆಗುವ ಯಾವುದೇ ಇಳಿಕೆಯನ್ನು ಅನುಮೋದಿಸಲು ಮನುಷ್ಯನ ಅಗತ್ಯವಿರಲಿ.
  • ನಿಮ್ಮ ಬೇಸ್‌ಲೈನ್ ಎಂಬುದು ಕೆಲಸ ಮಾಡುತ್ತಿರುವ ವಿಷಯಗಳ ದಾಖಲೆಯಾಗಿರಲಿ, ಕೇವಲ ಕೊನೆಯದಾಗಿ ಏನಾಯಿತು ಎಂಬುದು ಮಾತ್ರ ಆಗಿರಬಾರದು.
  • ನಿಮ್ಮ ಕೊನೆಯ 5 ಗ್ರೀನ್ ರನ್‌ಗಳ ವ್ಯತ್ಯಾಸವನ್ನು (variance) ಪರಿಶೀಲಿಸಿ. ಒಂದು ಸ್ಲೈಸ್ ನಿಮ್ಮ ಮಿತಿಗಿಂತ ಹೆಚ್ಚು ಏರಿಳಿತಗೊಂಡರೆ, ನಿಮ್ಮ ಮಿತಿಯು ಕೇವಲ ಗೊಂದಲವಾಗಿದೆ (noise).
  • ನಿಮ್ಮ ಅತ್ಯಂತ ಸಣ್ಣ ಸ್ಲೈಸ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಿ. ಅಗ್ಲಿಗೇಟ್ ಗಮನಿಸುವ ಮೊದಲು ಅದು ಎಷ್ಟು ಮಟ್ಟಿಗೆ ಇಳಿಯಬಹುದು ಎಂದು ಕೇಳಿ. ಉತ್ತರವು ದೊಡ್ಡ ಸಂಖ್ಯೆಯಾಗಿದ್ದರೆ, ನಿಮ್ಮ ಅಗ್ಲಿಗೇಟ್ ದೋಷಗಳನ್ನು ಮರೆಮಾಚುತ್ತಿದೆ ಎಂದರ್ಥ.

Source: https://dev.to/ethanwritesai/91-pass-rate-gate-green-shipped-worst-regression-we-had-all-quarter-4dfn

Optional learning community: https://t.me/GyaanSetuAi