અમે મોડેલ્સ પર વિશ્વાસ કરવાનું છોડી દીધું. પછી અમે અમારા પોતાના આંકડાઓ પર પણ વિશ્વાસ કરવાનું છોડી દીધું.
મેં વધુ સારા AI મોડેલ્સ પાછળ દોડવાનું બંધ કરી દીધું. મને લાગ્યું કે એક મજબૂત મોડેલ મારી સિસ્ટમને સુધારી દેશે. પણ એવું થયું નહીં. સમસ્યા મોડેલમાં નહોતી. સમસ્યા સિસ્ટમમાં હતી.
પછી મને કંઈક વધુ ખરાબ ખબર પડી. હું મારા પોતાના માપદંડો (measurements) પર પણ વિશ્વાસ કરી શકતો નહોતો.
મેં ત્રણ અલગ-અલગ નિષ્ફળતાઓ જોઈ:
- એક ટેસ્ટ સૂટ જે ખોટા વાતાવરણનું માપ લેતી વખતે પાસ થઈ ગયું.
- એક ગેટ જેણે કામ રોકી દીધું પણ ખોટા આંકડાકીય માહિતી (statistics) આપી.
- એક એજન્ટ જેણે ખોટી સંખ્યા (count) રિપોર્ટ કરી.
જ્યાં સુધી મેં નજીકથી જોયું નહીં ત્યાં સુધી દરેક નિષ્ફળતા સફળતા જેવી લાગતી હતી. વેરિફિકેશન માટેના મારા સાધનો મને જૂઠું બોલી રહ્યા હતા.
મારી પ્રથમ વૃત્તિ બધી અનિશ્ચિતતા પર પ્રતિબંધ મૂકવાની હતી. હું દરેક સંભવિતતાવાળા (probabilistic) તત્વને દૂર કરવા માંગતો હતો. હું ઈચ્છતો હતો કે બધું જ નિશ્ચિત (deterministic) હોય.
તે એક ભૂલ હતી.
જો તમે બધી અનિશ્ચિતતા દૂર કરી દો, તો તમે AI ની કિંમત પણ દૂર કરી દો છો. AI નો હેતુ વિચારો રજૂ કરવાનો અને ઉકેલો શોધવાનો છે. તમે કડક નિયમમાંથી તે મેળવી શકતા નથી.
ઉકેલ અનિશ્ચિતતા પર પ્રતિબંધ મૂકવાનો નથી. ઉકેલ તેને યોગ્ય રીતે ગોઠવવાનો છે.
એક સિસ્ટમને બે અલગ-અલગ સ્થાનની જરૂર છે:
પ્રસ્તાવ મૂકવાનું સ્થાન (The Proposing Seat) આ સ્થાન શોધખોળ અને સૂચનો કરે છે. તેને અનિશ્ચિતતા (nondeterminism) ની જરૂર છે. જો કોઈ મોડેલ ખોટો ઉકેલ સૂચવે છે, તો તેની કિંમત ઓછી છે કારણ કે તેણે હજુ સુધી કંઈપણ નક્કી કર્યું નથી.
નિર્ણય લેવાનું સ્થાન (The Judging Seat) આ સ્થાન નક્કી કરે છે કે ટેસ્ટ પાસ થાય છે કે નિયમનું પાલન થાય છે. આ સ્થાન નિશ્ચિત (deterministic) હોવું જોઈએ. તે પુનરાવર્તિત કરી શકાય તેવું (reproducible) અને ચકાસી શકાય તેવું હોવું જોઈએ.
મારી સિસ્ટમમાં નિષ્ફળતાઓ એટલા માટે થઈ કારણ કે મેં નિર્ણય લેવાના સ્થાન પર ખોટી વસ્તુઓ મૂકી દીધી હતી. મેં અનિશ્ચિત પ્રક્રિયાઓને અંતિમ નિર્ણયો લેવા દીધા.
નિયમ સરળ છે:
- અનિશ્ચિત ભાગોને શોધખોળ કરવા દો.
- નિશ્ચિત ભાગોને નિર્ણય લેવા દો.
આખી સિસ્ટમને નિશ્ચિત બનાવવાનો પ્રયાસ કરશો નહીં. તેના બદલે, ખાતરી કરો કે તમારા નિર્ણાયકો મજબૂત છે. એક ખોટો નિશ્ચિત (deterministic) નિર્ણાયક સંભવિતતાવાળા (probabilistic) નિર્ણાયક કરતા વધુ ખતરનાક છે. એક ખોટો નિર્ણાયક સતત ભૂલ પેદા કરે છે જેના પર તમે સમય જતાં પ્રશ્ન કરવાનું બંધ કરી દો છો.
જે દરેક સ્તર તમને વિશ્વાસ આપે છે તેનું પહેલા માપન કરવું જોઈએ. તે માપન એવી કોઈ નિશ્ચિત વસ્તુ પર આધારિત હોવું જોઈએ જેને તમે સાક્ષી બની શકો.
તમે તમારી AI સિસ્ટમ્સમાં પ્રસ્તાવ મૂકવા અને નિર્ણય લેવા વચ્ચેની રેખા કેવી રીતે દોરો છો? તમે ક્યાં નિશ્ચિતતા (determinism) માટે આગ્રહ રાખો છો?
Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
Optional learning community: https://t.me/GyaanSetuAi