మేము మోడల్స్ను నమ్మడం మానేసాము. ఆ తర్వాత మా స్వంత గణాంకాలను కూడా నమ్మడం మానేసాము.
నేను మెరుగైన AI మోడల్స్ కోసం వెతకడం ఆపేసాను. ఒక శక్తివంతమైన మోడల్ నా సిస్టమ్ను సరిచేస్తుందని నేను అనుకున్నాను. కానీ అది జరగలేదు. సమస్య మోడల్లో లేదు. సమస్య సిస్టమ్లో ఉంది.
అప్పుడు నేను అంతకంటే దారుణమైన విషయాన్ని గ్రహించాను. నేను నా స్వంత కొలతలను కూడా నమ్మలేకపోయాను.
నేను మూడు రకాల వైఫల్యాలను చూశాను:
- తప్పు వాతావరణాన్ని (environment) కొలుస్తూ కూడా పాస్ అయిన ఒక టెస్ట్ సూట్.
- పనిని అడ్డుకున్నప్పటికీ తప్పుడు గణాంకాలను ఇచ్చిన ఒక గేట్.
- తప్పుడు కౌంట్ను రిపోర్ట్ చేసిన ఒక ఏజెంట్.
నేను నిశితంగా పరిశీలించే వరకు ప్రతి వైఫల్యం విజయంగానే కనిపించింది. నన్ను వెరిఫై చేసే నా సాధనాలు (tools) నాకు అబద్ధం చెబుతున్నాయి.
అనిశ్చితిని (uncertainty) పూర్తిగా నిషేధించడమే నా మొదటి ఆలోచన. ప్రతి ప్రాబబిలిస్టిక్ (probabilistic) అంశాన్ని తొలగించాలని నేను అనుకున్నాను. ప్రతిదీ డెటరినిస్టిక్ (deterministic) గా ఉండాలని కోరుకున్నాను.
అది ఒక పొరపాటు.
మీరు అనిశ్చితిని పూర్తిగా తొలగిస్తే, AI యొక్క విలువను కూడా తొలగించినట్లే. ఆలోచనలను ప్రతిపాదించడం మరియు పరిష్కారాలను అన్వేషించడం AI యొక్క ఉద్దేశ్యం. కఠినమైన నియమం ద్వారా మీరు దానిని పొందలేరు.
పరిష్కారం అనిశ్చితిని నిషేధించడం కాదు. దానిని సరైన చోట ఉంచడం.
ఒక సిస్టమ్కు రెండు వేర్వేరు స్థానాలు అవసరం:
ప్రతిపాదించే స్థానం (The Proposing Seat) ఈ స్థానం అన్వేషిస్తుంది మరియు సూచిస్తుంది. దీనికి నాన్-డెటరినిజం (nondeterminism) అవసరం. ఒక మోడల్ తప్పు పరిష్కారాన్ని సూచిస్తే, దాని వల్ల నష్టం తక్కువ, ఎందుకంటే అది ఇంకా ఏదీ నిర్ణయించలేదు.
తీర్పు ఇచ్చే స్థానం (The Judging Seat) ఒక టెస్ట్ పాస్ అయిందా లేదా ఒక నియమం నెరవేరిందా లేదా అనేది ఈ స్థానం నిర్ణయిస్తుంది. ఈ స్థానం తప్పనిసరిగా డెటరినిస్టిక్ (deterministic) గా ఉండాలి. ఇది పునరుత్పత్తి చేయదగినది (reproducible) మరియు తనిఖీ చేయదగినదిగా ఉండాలి.
నా సిస్టమ్లో వైఫల్యాలు సంభవించడానికి కారణం, నేను తీర్పు ఇచ్చే స్థానంలో తప్పుడు అంశాలను ఉంచడమే. అనిశ్చిత ప్రక్రియలను (uncertain processes) తుది నిర్ణయాలు తీసుకోవనిచ్చాను.
నియమం సరళమైనది:
- అనిశ్చిత భాగాలను అన్వేషించనివ్వండి.
- డెటరినిస్టిక్ భాగాలను తీర్పునివ్వనివ్వండి.
మొత్తం సిస్టమ్ను అనిశ్చితి లేకుండా చేయడానికి ప్రయత్నించకండి. బదులుగా, మీ తీర్పుదారులు (judges) పటిష్టంగా ఉండేలా చూసుకోండి. తప్పుగా ఉన్న డెటరినిస్టిక్ తీర్పుదారు, ప్రాబబిలిస్టిక్ తీర్పుదారు కంటే ప్రమాదకరమైనది. తప్పుగా ఉన్న తీర్పుదారు ఒక స్థిరమైన లోపాన్ని సృష్టిస్తుంది, దానిని మీరు చివరికి ప్రశ్నించడం కూడా మానేస్తారు.
మీకు నమ్మకాన్ని ఇచ్చే ప్రతి పొరను (layer) ముందుగా కొలవాలి. ఆ కొలత మీరు స్వయంగా చూడగలిగే ఏదైనా డెటరినిస్టిక్ అంశంపై ఆధారపడి ఉండాలి.
మీ AI సిస్టమ్స్లో ప్రతిపాదించడం మరియు తీర్పు ఇవ్వడం మధ్య మీరు గీతను ఎలా గీస్తారు? మీరు ఎక్కడ డెటరినిజం కోసం పట్టుబడతారు?
Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
Optional learning community: https://t.me/GyaanSetuAi