સ્વાયત્ત વાહનો, ઔદ્યોગિક રોબોટ્સ અને ડ્રોન કાફલા એ જૂની ઓટોપાયલોટ સિસ્ટમ્સમાં વપરાતા કડક, હાથથી લખાયેલા નિયમોનું પાલન કરતા નથી. તેઓ વિશાળ પ્રમાણમાં ડેટામાંથી શીખે છે, જેનો અર્થ છે કે તેમનું વર્તન સંભાવનાત્મક (probabilistic) છે, નિશ્ચિત (deterministic) નથી. પરંપરાગત એરક્રાફ્ટ ઓટોપાયલોટ સેન્સર ઇનપુટ્સ પર સ્પષ્ટ રીતે કોડ કરેલા લોજિક દ્વારા પ્રતિક્રિયા આપે છે. મશીન લર્નિંગ મોડેલ તાલીમ દરમિયાન મેળવેલા પેટર્ન દ્વારા પ્રતિક્રિયા આપે છે. આ તફાવત ચકાસણી (verification) ને ઘણું મુશ્કેલ બનાવે છે, અને આ જ કારણ છે કે મશીન લર્નિંગ સમુદાય એડ-હોક ટેસ્ટિંગને બદલે સ્ટ્રક્ચર્ડ એશ્યોરન્સ ફ્રેમવર્ક તરફ વળ્યો છે.
મશીન લર્નિંગ એશ્યોરન્સ શા માટે અનિવાર્ય છે
જ્યારે કોઈ સ્વાયત્ત સિસ્ટમ ભૂલ કરે છે, ત્યારે તેના પરિણામો માત્ર સર્વર એરર અથવા ફ્રોઝન એપ્લિકેશન પૂરતા મર્યાદિત નથી હોતા. વેરહાઉસ રોબોટ દ્વારા અવરોધને ઓળખવામાં ભૂલ થવાથી ઇન્વેન્ટરીનો નાશ થઈ શકે છે અથવા કામદારને ઈજા થઈ શકે છે. ડિલિવરી ડ્રોન દ્વારા પાવર લાઇનને ખુલ્લું આકાશ સમજી લેવાથી તે ઇન્ફ્રાસ્ટ્રક્ચરમાં અથડાઈ શકે છે. કારણ કે આ સિસ્ટમો જટિલ ન્યુરલ નેટવર્ક્સ અને આંકડાકીય મોડેલ્સ પર આધારિત છે, તેમની નિષ્ફળતાના પ્રકારો (failure modes) સૂક્ષ્મ હોય છે. તેઓ ભાગ્યે જ સ્પષ્ટ રીતે તૂટે છે. તેના બદલે, જ્યારે તેઓ તાલીમ દરમિયાન જોયેલા વિતરણ (distributions) ની બહારના ઇનપુટ્સનો સામનો કરે છે, ત્યારે તેઓ શાંતિથી કાર્યક્ષમતા ગુમાવે છે.
સ્વાયત્ત મશીન લર્નિંગમાં ભૂલો હંમેશા સ્પષ્ટ રીતે ખરાબ કોડને કારણે આવતી નથી. તેઓ તાલીમ ડેટામાં રહેલી ખામીઓ, અણધાર્યા પર્યાવરણીય ફેરફારો અથવા એજ કેસ (edge cases) પર અતિશય આત્મવિશ્વાસપૂર્ણ આગાહીઓમાંથી ઉદભવી શકે છે. જે સંસ્થાઓ ML ઘટકોને પ્રમાણભૂત સોફ્ટવેર મોડ્યુલ્સની જેમ લે છે અને માને છે કે યુનિટ ટેસ્ટ સ્યુટ પૂરતો છે, તેઓને મોડું ખબર પડે છે કે લેબોરેટરીની ચોકસાઈ વાસ્તવિક દુનિયાની સુરક્ષામાં રૂપાંતરિત થતી નથી. તમારે શીખેલા વર્તનના વિશિષ્ટ જોખમોને સંબોધતા વ્યવસ્થિત ધોરણની જરૂર છે. AMLAS ફ્રેમવર્ક આ અંતરને પૂરવા માટે બનાવવામાં આવ્યું છે.
AMLAS ખરેખર શું આવરી લે છે
AMLAS, જેનો અર્થ 'Assurance of Machine Learning for use in Autonomous Systems' થાય છે, તે શીખેલા ઘટકો ઉચ્ચ જોખમ ધરાવતા ડિપ્લોયમેન્ટ માટે યોગ્ય છે કે નહીં તેની ચકાસણી કરવા માટે એન્ડ-ટુ-એન્ડ અભિગમ પૂરો પાડે છે. તે સુરક્ષાને અંતિમ વિચાર અથવા રિલીઝ પહેલાના અંતિમ દરવાજા તરીકે ગણતું નથી. તેના બદલે, તે સિસ્ટમના લાઇફસાયકલ સાથે એશ્યોરન્સ પ્રવૃત્તિઓને વણી લે છે.
આ ફ્રેમવર્ક ત્રણ વ્યવહારુ સ્તંભો પર ધ્યાન કેન્દ્રિત કરે છે:
ML મોડેલો માટે ચકાસણી પદ્ધતિઓ. આ ચોકસાઈ (accuracy) અથવા F1 સ્કોર જેવા પ્રમાણભૂત ટ્રેન-ટેસ્ટ સ્પ્લિટ મેટ્રિક્સથી ઘણું આગળ છે. AMLAS હેઠળ એશ્યોરન્સ એ પૂછે છે કે શું મોડેલ નિર્ણય લેવાની સીમાઓ (decision boundaries) પર અનુમાનિત રીતે વર્તે છે, તે આઉટ-ઓફ-ડિસ્ટ્રિબ્યુશન ઇનપુટ્સ પર કેવી રીતે પ્રતિક્રિયા આપે છે, અને શું તેના કોન્ફિડન્સ સ્કોર્સ વાસ્તવિક અનિશ્ચિતતાના વિશ્વસનીય સૂચકો છે. એન્જિનિયરો પાસેથી અપેક્ષા રાખવામાં આવે છે કે તેઓ એડવર્સરીયલ એક્ઝામ્પલ્સ (adversarial examples) સાથે મોડેલનું પરીક્ષણ કરે અને તાલીમ સેટની બહારના ડોમેન્સના ઇનપુટ્સ સામે તેનું સ્ટ્રેસ-ટેસ્ટ કરે. ધ્યેય સંપૂર્ણતા નથી. ધ્યેય એ પૂરતા પુરાવા મેળવવાનો છે કે મોડેલ પર ક્યારે વિશ્વાસ કરી શકાય અને ક્યારે નહીં.
સ્વાયત્ત ક્રિયાઓ માટે સુરક્ષા પ્રોટોકોલ્સ. એક શીખેલું પરસેપ્શન મોડેલ પ્લાનિંગ અને કંટ્રોલ સોફ્ટવેરમાં ડેટા મોકલે છે જે ભૌતિક હાર્ડવેરને ચલાવે છે. AMLAS એવી માંગ કરે છે કે આ ડાઉનસ્ટ્રીમ ક્રિયાઓમાં ગાર્ડરેલ્સ (guardrails) સામેલ હોવા જોઈએ. ભલે ન્યુરલ નેટવર્ક કોઈ વસ્તુનું ખોટું વર્ગીકરણ કરે, વાહન અથવા રોબોટ ભૌતિક રીતે એવી ટ્રેજેક્ટરી ચલાવવા માટે સક્ષમ ન હોવો જોઈએ જે કડક નિયમોનું ઉલ્લંઘન કરે. આનો અર્થ રોબોટિક આર્મ્સ પર ટોર્ક મર્યાદા, ડ્રોન માટે જીઓફેન્સિંગ અથવા જમીન પરના વાહનો માટે ફરજિયાત બ્રેકિંગ કોરિડોર હોઈ શકે છે. સ્વાયત્ત સિસ્ટમને એવા આર્કિટેક્ચરલ લેયર્સની જરૂર છે જે મોડેલની એક ભૂલને અનિયંત્રિત ભૌતિક ઘટનામાં બદલાતી અટકાવે.
અનિશ્ચિતતા ઘટાડવાની પદ્ધતિઓ. મશીન લર્નિંગમાં અનિશ્ચિતતા અનેક સ્વરૂપોમાં આવે છે. તેમાં એલિયોટરીક અનિશ્
એક પણ ડેટાસેટ એકત્રિત કરતા પહેલા તમારા સુરક્ષા લક્ષ્યો (safety goals) નક્કી કરો. પરંપરાગત સોફ્ટવેર એન્જિનિયરિંગમાં, જરૂરિયાતો પહેલા આવે છે. મશીન લર્નિંગ પ્રોજેક્ટ્સ ઘણીવાર આનાથી ઉલટું કરે છે, જેમાં મોડલ ટ્રેન થયા પછી સુરક્ષાને ઉકેલવાની સમસ્યા તરીકે જોવામાં આવે છે. આ આદત બદલો. સ્પષ્ટ ઓપરેશનલ ડિઝાઇન ડોમેન (operational design domain) સાથે શરૂઆત કરો. કયા સંજોગોમાં સિસ્ટમ ચાલશે? દરેક જોખમ માટે સહન કરી શકાય તેવો નિષ્ફળતા દર (failure rate) શું હશે? કઈ નિષ્ફળતાઓ માટે તાત્કાલિક માનવ હસ્તક્ષેપ (human override) જરૂરી છે? આ પ્રશ્નોના વહેલા જવાબો ડેટા કલેક્શનથી લઈને મોડલ આર્કિટેક્ચર સુધી બધું જ ઘડે છે.
તમારા મોડલ્સનું પરીક્ષણ એવા ડેટા સામે કરો જે વાસ્તવિક ઓપરેશનલ અરાજકતા (messiness) દર્શાવે છે. લેબ બેન્ચમાર્ક આશ્વાસન આપે છે, પરંતુ તે ભ્રામક હોઈ શકે છે. માત્ર શુદ્ધ બારકોડ ઈમેજ પર તાલીમ પામેલ વેરહાઉસ રોબોટ ત્યારે નિષ્ફળ જશે જ્યારે લેબલ્સ કરચલીવાળા, ઓછી રોશનીવાળા અથવા ગંદકીથી અવરોધાયેલા હશે. માત્ર સારા હવામાનમાં ટેસ્ટ કરાયેલ ઓટોનોમસ ડ્રોન પવન અને પ્રકાશના પરાવર્તનને કારણે સંઘર્ષ કરશે. તમારે વાસ્તવિક ડિપ્લોયમેન્ટ વાતાવરણના લોગ્સની જરૂર છે, જેમાં એવા મુશ્કેલ કેસ (edge cases) પણ સામેલ હોય જે ક્યારેય ક્યુરેટેડ ડેટાસેટ્સમાં દેખાતા નથી. શેડો મોડ (shadow mode) ટ્રાયલ્સ ચલાવો જ્યાં ઓટોનોમસ સિસ્ટમ માનવ ઓપરેટરોની સમાંતર નિર્ણયો લે છે પરંતુ હજુ સુધી હાર્ડવેરને નિયંત્રિત કરતી નથી. લોગ્સની કડક રીતે સરખામણી કરો.
ડિપ્લોયમેન્ટ પછી સતત કામગીરીનું નિરીક્ષણ કરો. દુનિયા સ્થિર નથી. મોસમી પ્રકાશમાં ફેરફાર, ઘસાઈ ગયેલી રોડની સપાટી, પેકેજિંગની નવી ડિઝાઇન અને બદલાતા નેટવર્ક ટ્રાફિક પેટર્ન - આ બધું જ એક એવા મોડલની કામગીરી ઘટાડી શકે છે જે એક સમયે ઉત્કૃષ્ટ રીતે કામ કરતું હતું. ટેલિમેટ્રી સેટ કરો જે પ્રિડિક્શન કોન્ફિડન્સ (prediction confidence), ઇનપુટ ડિસ્ટ્રિબ્યુશન ડ્રિફ્ટ અને ઇન્સિડન્ટ રેટ્સને ટ્રેક કરે. જ્યારે વર્તનમાં ફેરફાર આવે ત્યારે માનવ સમીક્ષા અથવા કામચલાઉ ઓપરેશનલ પ્રતિબંધો લાગુ કરે તેવા થ્રેશોલ્ડ (thresholds) સ્થાપિત કરો. મોડલ એ સ્થિર ઉત્પાદન નથી જેને તમે મોકલી દો અને ભૂલી જાઓ. તે એક એવો ઘટક છે જે વાસ્તવિક દુનિયા સાથે સંપર્ક કરતાની સાથે જ જૂનો થવા લાગે છે.
વાસ્તવિક-વિશ્વના વેલિડેશન વિશેનો કડવો સત્ય
ઘણી ટીમો પોતાને ખાતરી આપે છે કે ઉચ્ચ વેલિડેશન સ્કોર સજ્જતાનો સંકેત છે. તે નથી. વાસ્તવિક-વિશ્વના વેલિડેશન માટે અગવડતા સ્વીકારવી જરૂરી છે. તેનો અર્થ એ છે કે પવનના ઝાપટાંવાળી સ્થિતિમાં ડ્રોન ઉડાડવા, રાત્રિ શિફ્ટ દરમિયાન વેરહાઉસ રોબોટ ચલાવવા જ્યારે બલ્બ ઝબકતા હોય, અને પર્સેપ્શન મોડલ્સને રોડ સાઇન્સ પર એડવર્સરીયલ સ્ટીકર્સ સામે ખુલ્લા મૂકવા. જો તમારું ટેસ્ટિંગ વાતાવરણ વ્યવસ્થિત અને અનુમાનિત લાગે છે, તો તમે ટેસ્ટિંગ નથી કરી રહ્યા. તમે માત્ર રિહર્સલ કરી રહ્યા છો.
આ પ્રક્રિયા ખર્ચાળ અને ધીમી છે. તે મશીન લર્નિંગ એન્જિનિયરો, સુરક્ષા નિષ્ણાતો અને ભૌતિક વાતાવરણને સમજતા ડોમેન ઓપરેટરો વચ્ચે સહયોગની માંગ કરે છે. તેનું વળતર પુરાવાઓના સંગ્રહ તરીકે મળે છે. જ્યારે તમે અંતે ડિપ્લોય કરો, ત્યારે તમે ચોક્કસ ટેસ્ટ કન્ડિશન, જાણીતા નિષ્ફળતાના પ્રકારો અને દરેક જોખમ સાથે જોડાયેલા ઉપાયો દર્શાવી શકવા સક્ષમ હોવા જોઈએ. તે દસ્તાવેજીકરણ જ પ્રોટોટાઇપને એવી સિસ્ટમથી અલગ પાડે છે જેને તમે મનુષ્યોની નજીક દેખરેખ વગર ચલાવવા તૈયાર હોવ.
સમય જતાં સિસ્ટમોને પ્રમાણિક રાખવી
ડિપ્લોયમેન્ટ પછીનું મોનિટરિંગ એ જગ્યા છે જ્યાં ઘણા એશ્યોરન્સ પ્રોગ્રામ્સ શાંતિથી નિષ્ફળ જાય છે. ટીમો લોન્ચની ઉજવણી કરે છે અને સંસાધનોને આગલા ફીચર પર ફેરવી દે છે. દરમિયાન, ડિપ્લોય કરેલું મોડલ ઇનપુટ્સના એવા પ્રવાહનો સામનો કરે છે જે તેના તાલીમ અનુભવથી સૂક્ષ્મ રીતે અલગ પડે છે. સક્રિય મોનિટરિંગ વિના, આ ડ્રિફ્ટ ત્યાં સુધી જમા થાય છે જ્યાં સુધી કોઈ ગંભીર ઘટના પ્રતિક્રિયાત્મક તપાસ કરવા માટે મજબૂર ન કરે.
સ્ટ્રક્ચર્ડ ફીડબેક લૂપ્સ સેટ કરો. મોડલ જ્યાં ઓછી કોન્ફિડન્સ દર્શાવે છે અથવા જ્યાં માનવ ઓપરેટરો હસ્તક્ષેપ કરે છે તે દરેક instance ને લોગ કરો. આ લોગ્સનો ઉપયોગ સમયાંતરે મોડલને ફરીથી તાલીમ આપવા અથવા ફાઇન-ટ્યુન કરવા માટે કરો, પરંતુ દરેક અપડેટને એ જ એશ્યોરન્સ ગેટ્સ દ્વારા વેલિડેટ કરો જે મૂળ રિલીઝ માટે લાગુ પડતા હતા. મોડલ અપડેટ્સને તે જ સાવચેતી સાથે લો જે તમે મિકેનિકલ બ્રેક સિસ્ટમને નવી ડિઝાઇન સાથે બદલતી વખતે રાખશો.
મુખ્ય સારાંશ
ઓટોનોમસ સિસ્ટમ્સમાં મશીન લર્નિંગ એ રિસર્ચ સેન્ડબોક્સ નથી. તે ઇન્ફ્રાસ્ટ્રક્ચર છે જે ભૌતિક જોખમ ધરાવે છે, અને તે તે જ કડકતાને પાત્ર છે જે એરોસ્પેસ અને મેડિકલ ડિવાઇસ એન્જિનિયરો હાર્ડવેર પર લાગુ કરે છે. AMLAS તે કડકતા માટે શબ્દભંડોળ અને વર્કફ્લો પ્રદાન કરે છે. તે તમારા માટે વિશ્વાસ આપોઆપ (automate) નહીં કરે, પરંતુ તે તમને તેને મેળવવાનો પુનરાવર્તિત રસ્તો આપશે. પ્રમાણિક સુરક્ષા લક્ષ્યો સાથે શરૂઆત કરો. અસલી અને અસ્તવ્યસ્ત ડેટા સામે વેલિડેટ કરો. એકવાર સિસ્ટમ લાઇવ થઈ જાય પછી તેને શંકાળુ નજરે જુઓ. ફ્રેમવર્ક અસ્તિત્વમાં છે. બાકી બધું શિસ્ત પર નિર્ભર છે.
AMLAS માર્ગદર્શિકાના સંપૂર્ણ ટેકનિકલ વિશ્લેષણ માટે, અહીં મૂળ વિગતો વાંચો: https://dev.to/paperium/guidance-on-the-assurance-of-machine-learning-in-autonomous-systems-amlas-f9
જો તમે એશ્યોરન્સ વ્યૂહરચનાઓ વિશે ચર્ચા કરવા માંગતા હોવ અને સમાન સમસ્યાઓ પર કામ કરતા સમુદાય સાથે વ્યવહારુ નોંધોની આપ-લે કરવા માંગતા હોવ, તો અહીં વાતચીતમાં જોડાઓ: https://t.me/GyaanSetuAi