Kiwango cha Kufaulu cha 91%. Gate ya Kijani. Imetumwa. Regression Mbaya Zaidi Kuwahi Kutokea.
Tulifikia kiwango cha kufaulu cha 91% kwenye jaribio la uainishaji wa nia (intent-classification test). Kiwango cha chini kilikuwa 90%. Tulivuka kigezo. Tulituma kodi hiyo.
Ilikuwa regression yetu mbaya zaidi ya robo mwaka hii.
Tatizo lilikuwa hesabu zetu. Alama yetu ya tathmini ilibaki kwenye 96% au 97% kwa wiki kadhaa. Kisha, mabadiliko fulani yaliharibu sehemu moja mahususi (slice): maombi ya marejesho yasiyo na uwazi (ambiguous refund requests). Sehemu hiyo ilishuka kutoka 98% hadi 74%.
Sehemu hiyo inawakilisha 4% ya jumla ya trafiki yetu. Kwa sababu tulitazama wastani, alama ya jumla ilishuka hadi 91% pekee. Gate ilibaki ya kijani.
Takwimu za jumla (aggregates) huficha makosa ndani ya kelele (noise).
Watumiaji katika sehemu hiyo hawakuona 91%. Waliona 74%. Kiwango cha kudumu (static threshold) kinakuambia ikiwa mfumo mzima utaanguka kabisa. Hakikuiambia ikiwa sehemu moja ya mfumo wako inakufa. Ikiwa sehemu 96 ziko sawa na moja inafeli, wastani wa juu huficha hitilafu hiyo. Unagundua kosa kupitia tiketi za msaada (support tickets) badala ya zana zako za majaribio.
Tulibadilisha mkakati wetu. Tulimaacha kutumia namba kamili kama kigezo cha gate. Sasa tunatumia kigezo dhidi ya mzunguko wa mwisho uliofanikiwa (last successful run).
Tunatumia sheria mbili. Zote lazima zipite:
- Hakuna sehemu moja inayoshuka zaidi ya pointi 3 dhidi ya msingi (baseline).
- Jumla ya takwimu (total aggregate) isishuke zaidi ya pointi 1.5 dhidi ya msingi.
Katika kufeli kwetu hivi karibuni, sehemu ya marejesho ilishuka pointi 24. Sheria ya kwanza ingeigundua mara moja.
Jihadhari na mitego ya delta gating. Ikiwa msingi wako (baseline) unajisasisha katika kila mzunguko, unaweza kuteleza kuelekea kwenye kufeli. Kushuka kwa pointi 0.5 kila siku hupita kila jaribio. Unateleza polepole kuelekea kwenye bidhaa mbaya.
Fuata hatua hizi ili kurekebisha majaribio yako:
- Sasisha msingi wako (baseline) pale tu wakati tawi lako kuu (main branch) liko kijani.
- Hitaji binadamu kuidhinisha kushuka kwa makusudi kwa alama.
- Msingi wako lazima uwe kumbukumbu ya kile kinachofanya kazi, si tu kile kilichotokea mara ya mwisho.
- Angalia mabadiliko (variance) ya mizunguko yako 5 ya mwisho ya kijani. Ikiwa sehemu moja inabadilika zaidi ya kiwango chako (threshold), basi kiwango chako ni kelele (noise).
- Jaribu sehemu yako ndogo zaidi. Jiulize inaweza kushuka kiasi gani kabla ya takwimu za jumla (aggregate) kuzingatia. Ikiwa jibu ni namba kubwa, basi takwimu zako za jumla zinaficha makosa.
Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi