معدل نجاح 91%. البوابة خضراء. تم الإطلاق. أسوأ تراجع على الإطلاق.

حققنا معدل نجاح بنسبة 91% في اختبار تصنيف النوايا (intent-classification). كانت العتبة 90%. تجاوزنا الحد المطلوب. أطلقنا الكود.

كان ذلك أسوأ تراجع (regression) لنا خلال هذا الربع.

كانت المشكلة في حساباتنا. ظل معدل التقييم لدينا عند 96% أو 97% لأسابيع. ثم، تسبب تغيير ما في تعطل شريحة (slice) محددة: طلبات استرداد الأموال الغامضة. انخفضت تلك الشريحة من 98% إلى 74%.

تمثل هذه الشريحة 4% من إجمالي حركة المرور لدينا. ولأننا نظرنا إلى المتوسط، انخفضت الدرجة الإجمالية إلى 91% فقط. ظلت البوابة خضراء.

الإجماليات (Aggregates) تخفي الإخفاقات داخل الضجيج.

المستخدمون في تلك الشريحة لم يروا 91%. بل رأوا 74%. العتبة الثابتة تخبرك ما إذا كان النظام بأكمله ينهار، لكنها لا تخبرك ما إذا كان جزء واحد من نظامك يحتضر. إذا كانت 96 شريحة تعمل بشكل جيد وانهارت واحدة، فإن المتوسط المرتفع سيخفي هذا الانهيار. ستكتشف الخطأ عبر تذاكر الدعم الفني بدلاً من أدوات الاختبار الخاصة بك.

غيرنا استراتيجيتنا. توقفنا عن استخدام الأرقام المطلقة كمعيار للبوابة. أصبحنا الآن نعتمد في البوابة على آخر عملية تشغيل ناجحة.

نستخدم قاعدتين، ويجب اجتيازهما معاً:

  • ألا تنخفض أي شريحة واحدة بأكثر من 3 نقاط عن الخط المرجعي (baseline).
  • ألا ينخفض الإجمالي الكلي بأكثر من 1.5 نقطة عن الخط المرجعي.

في فشلنا الأخير، انخفضت شريحة استرداد الأموال بمقدار 24 نقطة. كانت القاعدة الأولى ستكتشف ذلك على الفور.

احذر من فخاخ delta gating. إذا كان الخط المرجعي الخاص بك يتحدث مع كل عملية تشغيل، فقد تنزلق نحو الفشل تدريجياً. انخفاض بمقدار 0.5 نقطة كل يوم سيجتاز كل اختبار، وستنزلق ببطء نحو منتج سيئ.

اتبع هذه الخطوات لإصلاح اختباراتك:

  • قم بتحديث الخط المرجعي الخاص بك فقط عندما يكون الفرع الرئيسي (main branch) أخضر.
  • تطلب موافقة بشرية على أي انخفاض متعمد في الدرجات.
  • يجب أن يكون الخط المرجعي الخاص بك سجلاً لما يعمل بالفعل، وليس مجرد ما حدث في المرة الأخيرة.
  • تحقق من التباين (variance) في آخر 5 عمليات تشغيل ناجحة. إذا تذبذبت شريحة ما بأكثر من العتبة المحددة، فإن عتبتك ليست سوى ضجيج.
  • اختبر أصغر شريحة لديك. اسأل نفسك: إلى أي مدى يمكن أن تنخفض قبل أن يلاحظ الإجمالي الكلي ذلك؟ إذا كانت الإجابة رقماً كبيراً، فإن إجمالياتك تخفي الأخطاء.

المصدر: https://dev.to/ethanwritesai/91-pass-rate-gate-green-shipped-worst-regression-we-had-all-quarter-4dfn

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi