స్వయంప్రతిపత్త వాహనాలు (Autonomous vehicles), పారిశ్రామిక రోబోలు మరియు డ్రోన్ ఫ్లీట్లు పాత ఆటోపైలట్ వ్యవస్థలను నడిపించిన కఠినమైన, చేతితో రాసిన రూల్ బుక్స్ను అనుసరించవు. అవి భారీ మొత్తంలో డేటా నుండి నేర్చుకుంటాయి, అంటే వాటి ప్రవర్తన సంభావ్యత (probabilistic) ఆధారితంగా ఉంటుంది, నిశ్చయాత్మకమైనది (deterministic) కాదు. సాంప్రదాయ విమాన ఆటోపైలట్ సెన్సార్ ఇన్పుట్లకు స్పష్టంగా కోడ్ చేయబడిన లాజిక్ ద్వారా ప్రతిస్పందిస్తుంది. కానీ ఒక మెషిన్ లెర్నింగ్ మోడల్ శిక్షణ సమయంలో అది గ్రహించిన నమూనాల (patterns) ద్వారా ప్రతిస్పందిస్తుంది. ఈ తేడా వల్ల వెరిఫికేషన్ చేయడం చాలా కష్టమవుతుంది, అందుకే మెషిన్ లెర్నింగ్ కమ్యూనిటీ అడ్-హాక్ టెస్టింగ్ కంటే స్ట్రక్చర్డ్ అష్యూరెన్స్ ఫ్రేమ్వర్క్ల వైపు మొగ్గు చూపుతోంది.
మెషిన్ లెర్నింగ్ అష్యూరెన్స్ ఎందుకు అనివార్యం
ఒక స్వయంప్రతిపత్త వ్యవస్థ తప్పు చేసినప్పుడు, దాని పరిణామాలు కేవలం సర్వర్ ఎర్రర్ లేదా యాప్ ఫ్రీజ్ అవ్వడానికే పరిమితం కావు. ఒక వేర్హౌస్ రోబో అడ్డంకిని సరిగ్గా గుర్తించలేకపోతే ఇన్వెంటరీని నాశనం చేయవచ్చు లేదా కార్మికుడికి గాయం కావచ్చు. డెలివరీ డ్రోన్ పవర్ లైన్ను ఖాళీ ఆకాశంగా భావిస్తే మౌలిక సదుపాయాలపై పడి ప్రమాదానికి గురవుతుంది. ఈ వ్యవస్థలు సంక్లిష్టమైన న్యూరల్ నెట్వర్క్లు మరియు స్టాటిస్టికల్ మోడల్స్పై ఆధారపడి ఉండటం వల్ల, వాటి వైఫల్య రూపాలు (failure modes) చాలా సూక్ష్మంగా ఉంటాయి. అవి అరుదుగా స్పష్టమైన మార్గాల్లో విఫలమవుతాయి. బదులుగా, శిక్షణ సమయంలో అవి చూసిన డిస్ట్రిబ్యూషన్ల వెలుపల ఉన్న ఇన్పుట్లను ఎదుర్కొన్నప్పుడు నిశ్శబ్దంగా పనితీరును తగ్గిస్తాయి.
స్వయంప్రతిపత్త మెషిన్ లెర్నింగ్లో లోపాలు ఎల్లప్పుడూ స్పష్టంగా తప్పుగా ఉన్న కోడ్ వల్ల మాత్రమే రావు. అవి శిక్షణ డేటాలోని లోపాలు, ఊహించని పర్యావరణ మార్పులు లేదా ఎడ్జ్ కేసుల (edge cases) పై అతి విశ్వాసంతో కూడిన అంచనాల వల్ల కూడా రావచ్చు. ML భాగాలను సాధారణ సాఫ్ట్వేర్ మాడ్యూల్స్లా పరిగణించి, యూనిట్ టెస్ట్ సూట్ సరిపోతుందని అనుకునే సంస్థలు, ల్యాబ్ ఖచ్చితత్వం (laboratory accuracy) నిజ ప్రపంచ భద్రతకు సరిపోదని చాలా ఆలస్యంగా తెలుసుకుంటాయి. నేర్చుకున్న ప్రవర్తనలోని ప్రత్యేక రిస్క్లను పరిష్కరించే ఒక క్రమబద్ధమైన ప్రమాణం మీకు అవసరం. AMLAS ఫ్రేమ్వర్క్ ఆ లోటును పూరించడానికి రూపొందించబడింది.
AMLAS వాస్తవానికి దేనిని కవర్ చేస్తుంది
AMLAS (Assurance of Machine Learning for use in Autonomous Systems) అనేది నేర్చుకున్న భాగాలు (learned components) అత్యంత కీలకమైన వినియోగం (high-stakes deployment) కోసం సరిపోతాయో లేదో వెరిఫై చేయడానికి ఎండ్-టు-ఎండ్ విధానాన్ని అందిస్తుంది. ఇది భద్రతను కేవలం విడుదల చేయడానికి ముందు చేసే చివరి దశగా చూడదు. బదులుగా, ఇది అష్యూరెన్స్ కార్యకలాపాలను వ్యవస్థ యొక్క లైఫ్ సైకిల్లో అంతర్భాగంగా మారుస్తుంది.
ఈ ఫ్రేమ్వర్క్ మూడు ఆచరణాత్మక స్తంభాలపై దృష్టి పెడుతుంది:
ML మోడల్స్ కోసం వెరిఫికేషన్ పద్ధతులు. ఇది అక్యురసీ లేదా F1 స్కోర్ వంటి ప్రామాణిక ట్రైన్-టెస్ట్ స్ప్లిట్ మెట్రిక్స్కు మించి పనిచేస్తుంది. AMLAS కింద అష్యూరెన్స్ అనేది మోడల్ నిర్ణయ సరిహద్దుల (decision boundaries) వద్ద ఊహించదగిన విధంగా ప్రవర్తిస్తుందా, అవుట్-ఆఫ్-డిస్ట్రిబ్యూషన్ (out-of-distribution) ఇన్పుట్లకు అది ఎలా స్పందిస్తుంది మరియు దాని కాన్ఫిడెన్స్ స్కోర్లు వాస్తవ అనిశ్చితికి నమ్మదగిన సూచికలా ఉన్నాయా అని ప్రశ్నిస్తుంది. ఇంజనీర్లు మోడల్ను అడ్వర్సేరియల్ ఎగ్జాంపుల్స్తో (adversarial examples) పరీక్షించాలని మరియు శిక్షణ సెట్ వెలుపల ఉన్న డొమైన్ల నుండి వచ్చే ఇన్పుట్లతో దానిని స్ట్రెస్-టెస్ట్ చేయాలని ఆశిస్తారు. దీని లక్ష్యం పరిపూర్ణత సాధించడం కాదు; మోడల్ను ఎప్పుడు నమ్మవచ్చు మరియు ఎప్పుడు నమ్మకూడదో తెలుసుకోవడానికి తగిన ఆధారాలను సేకరించడం.
స్వయంప్రతిపత్త చర్యల కోసం సేఫ్టీ ప్రోటోకాల్స్. ఒక నేర్చుకున్న పెర్సెప్షన్ మోడల్, భౌతిక హార్డ్వేర్ను కదిలించే ప్లానింగ్ మరియు కంట్రోల్ సాఫ్ట్వేర్కు డేటాను అందిస్తుంది. ఈ డౌన్స్ట్రీమ్ చర్యలలో గార్డ్రైల్స్ (guardrails) ఉండాలని AMLAS కోరుతుంది. ఒక న్యూరల్ నెట్వర్క్ వస్తువును తప్పుగా వర్గీకరించినప్పటికీ, వాహనం లేదా రోబో కఠినమైన పరిమితులను (hard constraints) ఉల్లంఘించే మార్గంలో (trajectory) వెళ్లలేకుండా భౌతికంగా నిరోధించబడాలి. అంటే రోబోటిక్ ఆర్మ్లపై టార్క్ పరిమితులు, డ్రోన్ల కోసం జియోఫెన్సింగ్ (geofencing), లేదా భూమిపై నడిచే వాహనాల కోసం తప్పనిసరి బ్రేకింగ్ కారిడార్స్ ఉండవచ్చు. ఒకే ఒక మోడల్ లోపం అదుపు చేయలేని భౌతిక సంఘటనగా మారకుండా నిరోధించడానికి స్వయంప్రతిపత్త వ్యవస్థకు ఆర్కిటెక్చరల్ లేయర్లు అవసరం.
అనిశ్చితిని తగ్గించే పద్ధతులు. మెషిన్ లెర్నింగ్లో అనిశ్చితి (uncertainty) వివిధ రూపాల్లో ఉంటుంది. సెన్సార్ రీడింగ్లు లేదా పర్యావరణంలో ఉండే సహజమైన శబ్దం (noise) వంటి అలియటారిక్ అనిశ్చితి (aleatoric uncertainty), మరియు మోడల్కు ఇంకా తెలియని విషయాలను ప్రతిబింబించే ఎపిస్టెమిక్ అనిశ్చితి (epistemic uncertainty) ఉంటాయి. ఈ రెండింటినీ అంచనా వేసి నిర్వహించే పద్ధతులను AMLAS ప్రోత్సహిస్తుంది. ఎంసెంబుల్ మెథడ్స్ (ensemble methods) వంటి సాంకేతికతలు, ఇక్కడ బహుళ మోడల్లు ఒకదానికొకటి భిన్నంగా ఉన్నప్పుడు దానిని హెచ్చరికగా గుర్తించవచ్చు, లేదా అస్థిర ప్రవర్తనకు కారణమయ్యే డేటాను తిరస్కరించే ఇన్పుట్ వాలిడేషన్ లేయర్లను ఇందులో చేర్చవచ్చు. మీరు అనిశ్చితిని పూర్తిగా తొలగించలేకపోవచ్చు, కానీ దాని ఆధారంగా వ్యవస్థ గుడ్డిగా పనిచేయకుండా నిరోధించవచ్చు.
నమ్మకాన్ని నిర్మించడానికి ఒక ఆచరణాత్మక మార్గం
టీమ్లు వాటిని ఆచరణలో పెట్టినప్పుడే ఫ్రేమ్వర్క్లు ఉపయోగపడతాయి. సంస్థలు క్రమబద్ధమైన క్రమాన్ని అనుసరించినప్పుడు AMLAS ఉత్తమంగా అమలు చేయబడుతుంది.
మీరు ఒక్క డేటాసెట్ను సేకరించకముందే మీ భద్రతా లక్ష్యాలను నిర్వచించండి. సాంప్రదాయ సాఫ్ట్వేర్ ఇంజనీరింగ్లో, అవసరాలు (requirements) మొదట వస్తాయి. మెషిన్ లెర్నింగ్ ప్రాజెక్ట్లు తరచుగా దీనికి విరుద్ధంగా ఉంటాయి, అంటే మోడల్ శిక్షణ పొందిన తర్వాత భద్రతను ఒక సమస్యగా పరిష్కరించడానికి ప్రయత్నిస్తాయి. ఆ అలవాటును మార్చుకోండి. స్పష్టమైన ఆపరేషనల్ డిజైన్ డొమైన్తో (operational design domain) ప్రారంభించండి. ఏ పరిస్థితులలో సిస్టమ్ నడుస్తుంది? ప్రతి ప్రమాదానికి ఎంత మేరకు వైఫల్య రేటును (failure rate) భరించవచ్చు? ఏ వైఫల్యాలకు తక్షణ మానవ జోక్యం అవసరం? ఈ ప్రశ్నలకు ముందుగానే సమాధానం కనుగొనడం వల్ల డేటా సేకరణ నుండి మోడల్ ఆర్కిటెక్చర్ వరకు ప్రతిదీ రూపొందించబడుతుంది.
వాస్తవ కార్యకలాపాల్లో ఉండే గందరగోళాన్ని ప్రతిబింబించే డేటాతో మీ మోడల్లను పరీక్షించండి. ల్యాబ్ బెంచ్మార్క్లు ఓదార్పునిస్తాయి, కానీ అవి నిజం చెప్పవు. కేవలం స్వచ్ఛమైన బార్కోడ్ చిత్రాలపై మాత్రమే శిక్షణ పొందిన వేర్హౌస్ రోబోట్, లేబుల్లు ముడతలు పడి ఉన్నా, వెలుతురు సరిగ్గా లేకపోయినా లేదా మురికి వల్ల అడ్డుగా ఉన్నా విఫలమవుతుంది. కేవలం అనుకూల వాతావరణంలో మాత్రమే పరీక్షించబడిన ఆటోనమస్ డ్రోన్, కాంతి మెరుపులు మరియు గాలి ఒత్తిడితో (wind shear) ఇబ్బంది పడుతుంది. మీకు వాస్తవ వినియోగ వాతావరణం నుండి లాగ్లు అవసరం, ఇందులో క్యూరేటెడ్ డేటాసెట్లలో కనిపించని ఇబ్బందికరమైన ఎడ్జ్ కేసులు (edge cases) కూడా ఉండాలి. షాడో మోడ్ ట్రయల్స్ను (shadow mode trials) నిర్వహించండి, ఇక్కడ ఆటోనమస్ సిస్టమ్ మానవ ఆపరేటర్లతో సమాంతరంగా నిర్ణయాలు తీసుకుంటుంది కానీ హార్డ్వేర్ను నియంత్రించదు. లాగ్లను కచ్చితంగా పోల్చి చూడండి.
డిప్లాయ్మెంట్ తర్వాత పనితీరును నిరంతరం పర్యవేక్షించండి. ప్రపంచం స్థిరంగా ఉండదు. కాలానుగుణంగా మారే వెలుతురు, అరిగిపోయిన రోడ్ ఉపరితలాలు, కొత్త ప్యాకేజింగ్ డిజైన్లు మరియు మారుతున్న నెట్వర్క్ ట్రాఫిక్ నమూనాలు ఒకప్పుడు అద్భుతంగా పనిచేసిన మోడల్ను కూడా దెబ్బతీయవచ్చు. ప్రిడిక్షన్ కాన్ఫిడెన్స్, ఇన్పుట్ డిస్ట్రిబ్యూషన్ డ్రిఫ్ట్ మరియు సంఘటన రేట్లను ట్రాక్ చేసే టెలిమెట్రీని ఏర్పాటు చేయండి. ప్రవర్తన మారినప్పుడు మానవ సమీక్షను లేదా తాత్కాలిక కార్యకలాపాల పరిమితులను ప్రేరేపించే త్రెషోల్డ్లను (thresholds) ఏర్పాటు చేయండి. మోడల్ అనేది మీరు పంపి మర్చిపోయే స్థిరమైన ఉత్పత్తి కాదు. అది వాస్తవ ప్రపంచాన్ని కలిసిన క్షణం నుండి పాతబడే ఒక భాగం.
వాస్తవ ప్రపంచ ధృవీకరణ (Real-World Validation) గురించి కఠిన సత్యం
అధిక వాలిడేషన్ స్కోర్ సిద్ధంగా ఉన్నట్లు సంకేతం ఇస్తుందని చాలా బృందాలు తమను తాము నమ్మించుకుంటాయి. అది నిజం కాదు. వాస్తవ ప్రపంచ ధృవీకరణకు అసౌకర్యాన్ని స్వీకరించడం అవసరం. అంటే గాలి వేగంగా ఉన్నప్పుడు డ్రోన్లను ఎగురవేయడం, బల్బులు వెలుగుతూ ఆరిపోతున్నప్పుడు నైట్ షిఫ్టులో వేర్హౌస్ రోబోట్లను నడపడం మరియు రోడ్ గుర్తులపై అడ్వర్సేరియల్ స్టిక్కర్లను పెర్సెప్షన్ మోడల్లకు ఎదురుగా ఉంచడం వంటివి చేయాలి. మీ పరీక్షా వాతావరణం చాలా చక్కగా మరియు ఊహించదగినదిగా అనిపిస్తే, మీరు పరీక్షించడం లేదు. మీరు కేవలం రిహార్సల్ చేస్తున్నారు.
ఈ ప్రక్రియ ఖరీదైనది మరియు నెమ్మదిగా ఉంటుంది. దీనికి మెషిన్ లెర్నింగ్ ఇంజనీర్లు, భద్రతా నిపుణులు మరియు భౌతిక వాతావరణాన్ని అర్థం చేసుకునే డొమైన్ ఆపరేటర్ల మధ్య సహకారం అవసరం. దీని వల్ల లభించే ప్రతిఫలం ఒక ఆధారాల సముదాయం. మీరు చివరికి డిప్లాయ్ చేసినప్పుడు, నిర్దిష్ట పరీక్షా పరిస్థితులు, తెలిసిన వైఫల్య విధానాలు మరియు ప్రతి రిస్క్కు సంబంధించిన మిటిగేషన్లను (mitigations) మీరు చూపించగలగాలి. ఆ డాక్యుమెంటేషన్ మాత్రమే ఒక ప్రోటోటైప్ను, మానవుల దగ్గర పర్యవేక్షణ లేకుండా నడపడానికి సిద్ధంగా ఉన్న సిస్టమ్ నుండి వేరు చేస్తుంది.
కాలక్రమేణా సిస్టమ్లను నిజాయితీగా ఉంచడం
డిప్లాయ్మెంట్ తర్వాత పర్యవేక్షణ అనేది చాలా అష్యూరెన్స్ ప్రోగ్రామ్లు నిశ్శబ్దంగా విఫలమయ్యే చోటు. బృందాలు లాంచ్ చేసినందుకు వేడుక చేసుకుని, వనరులను తదుపరి ఫీచర్కు మళ్లిస్తాయి. ఈలోగా, డిప్లాయ్ చేయబడిన మోడల్ దాని శిక్షణ అనుభవానికి స్వల్పంగా భిన్నంగా ఉండే ఇన్పుట్లను ఎదుర్కొంటుంది. యాక్టివ్ మానిటరింగ్ లేకపోతే, ఈ డ్రిఫ్ట్ పేరుకుపోయి, ఏదైనా తీవ్రమైన సంఘటన జరిగినప్పుడు మాత్రమే దర్యాప్తు చేసే పరిస్థితి వస్తుంది.
నిర్మాణాత్మక ఫీడ్బ్యాక్ లూప్లను ఏర్పాటు చేయండి. మోడల్ తక్కువ కాన్ఫిడెన్స్ను వ్యక్తం చేసిన ప్రతి సందర్భాన్ని లేదా మానవ ఆపరేటర్లు జోక్యం చేసుకున్న ప్రతి సందర్భాన్ని లాగ్ చేయండి. ఈ లాగ్లను ఉపయోగించి మోడల్ను క్రమ పద్ధతిలో రీట్రైన్ లేదా ఫైన్-ట్యూన్ చేయండి, కానీ ప్రతి అప్డేట్ను అసలు విడుదల సమయంలో ఉపయోగించిన అవే అష్యూరెన్స్ గేట్ల ద్వారా ధృవీకరించండి. మెకానికల్ బ్రేక్ సిస్టమ్ను కొత్త డిజైన్తో మార్చినప్పుడు ఎంత జాగ్రత్తగా ఉంటారో, మోడల్ అప్డేట్లను కూడా అంతే జాగ్రత్తగా చూడండి.
అసలైన సారాంశం
ఆటోనమస్ సిస్టమ్స్లో మెషిన్ లెర్నింగ్ అనేది కేవలం ఒక రీసెర్చ్ సాండ్బాక్స్ కాదు. ఇది భౌతిక ప్రమాదాలను కలిగి ఉండే ఇన్ఫ్రాస్ట్రక్చర్, మరియు ఏరోస్పేస్ మరియు మెడికల్ డివైజ్ ఇంజనీర్లు హార్డ్వేర్కు వర్తించేంత కఠినమైన నిబంధనలను ఇది కూడా కలిగి ఉండాలి. AMLAS ఆ కఠినత్వానికి అవసరమైన పదజాలాన్ని మరియు వర్క్ఫ్లోను అందిస్తుంది. ఇది మీ కోసం నమ్మకాన్ని ఆటోమేట్ చేయదు, కానీ దానిని సంపాదించడానికి మీకు పునరావృతమయ్యే మార్గాన్ని ఇస్తుంది. నిజాయితీతో కూడిన భద్రతా లక్ష్యాలతో ప్రారంభించండి. మురికిగా, వాస్తవమైన డేటాతో ధృవీకరించండి. సిస్టమ్ లైవ్లోకి వచ్చిన తర్వాత దానిని ఒక సందేహవాదిలా పర్యవేక్షించండి. ఫ్రేమ్వర్క్లు అందుబాటులో ఉన్నాయి. మిగిలినది క్రమశిక్షణ.
AMLAS మార్గదర్శకత్వం యొక్క పూర్తి సాంకేతిక విశ్లేషణ కోసం, అసలు వివరాలను ఇక్కడ చదవండి: https://dev.to/paperium/guidance-on-the-assurance-of-machine-learning-in-autonomous-systems-amlas-f9
మీరు అష్యూరెన్స్ వ్యూహాల గురించి చర్చించాలనుకుంటే మరియు ఇలాంటి సమస్యలపై పనిచేస్తున్న కమ్యూనిటీతో ఆచరణాత్మక నోట్స్ను పంచుకోవాలనుకుంటే, ఇక్కడ చర్చలో పాల్గొనండి: https://t.me/GyaanSetuAi