272 మంది నిపుణులు ప్రమాదాలను పేర్కొన్నారు. కానీ ఎవరూ వాటికి కారణమయ్యే విధానాలను (mechanisms) పేర్కొనలేదు.

ఒక MIT అధ్యయనం 272 మంది ప్రపంచ నిపుణులను సర్వే చేసింది. వారు AI ప్రమాదాలను పరిశీలించారు. ఫలితాలు స్పష్టంగా ఉన్నాయి.

24 AI ప్రమాద రంగాలలో 18 రంగాలలో ఐదేళ్లలో వినాశకరమైన ఫలితాలు వచ్చే అవకాశం కనీసం 10% ఉంది.

ఈ సందర్భంలో, వినాశనం (catastrophe) అంటే:

  • పది లక్షల కంటే ఎక్కువ మరణాలు.
  • $100 బిలియన్ల కంటే ఎక్కువ నష్టం.
  • ప్రజాస్వామ్య విలువలు కుప్పకూలడం.

ప్రమాదకరమైన సామర్థ్యాలు, పోటీ డైనమిక్స్, ఆయుధాలు, అధికార కేంద్రీకరణ మరియు తప్పుడు సమాచారం అతిపెద్ద ప్రమాదాలు.

ఈ అధ్యయనం ఒక బాధ్యతారహిత్యపు అంతరాన్ని (responsibility gap) వెల్లడిస్తోంది. AI ప్రమాదాల వల్ల నష్టపోయేది ప్రజలు. ఆ ప్రమాదాలను సరిదిద్దగలిగేది డెవలపర్లు మరియు పాలకులు. విమానయానం లేదా అణుశక్తి వంటి ఇతర పరిశ్రమలలో, ఈ అంతరాన్ని పూరించడానికి మేము తప్పనిసరి ప్రమాణాలు మరియు బాధ్యత (liability) విధానాలను ఉపయోగిస్తాము. AIలో, ఇటువంటి విధానాలు ఇంకా అందుబాటులో లేవు.

ఇక్కడ ఇంకా లోతైన అంతరం ఉంది. అది వైఫల్యాలను అంచనా వేసే పరిశోధకులకు మరియు వ్యవస్థలను నిర్మించే ఇంజనీర్లకు మధ్య ఉంది.

పరిశోధకులు పేపర్లు రాస్తారు. ఇంజనీర్లు బ్లాగ్ పోస్ట్‌లు మరియు బెంచ్‌మార్క్‌లను చదువుతారు. వారు ఒకే భాష మాట్లాడరు. ఒక ఇంజనీర్ పనితీరు పెరుగుదలను (performance boost) చూస్తే, ఒక పరిశోధకుడు వినాశకరమైన ప్రమాదాన్ని చూస్తాడు. వారి మధ్య ఎటువంటి వారధి లేదు.

ఈ అధ్యయనం ప్రమాదాలను పేర్కొంది, కానీ వాటికి కారణమయ్యే ఇంజనీరింగ్ వైఫల్యాలను పేర్కొనలేదు.

ఉదాహరణకు:

  • Multi-agent risks: ఉమ్మడి ప్రోటోకాల్స్ లేకపోవడం వల్ల వ్యవస్థల మధ్య ఘర్షణలు (collisions) ఏర్పడతాయి.
  • Competitive dynamics: ఉత్పత్తులను త్వరగా విడుదల చేయాలనే తొందరలో బృందాలు స్వతంత్ర ధృవీకరణను (independent verification) విస్మరిస్తాయి. దానికి బదులుగా వారు self-verificationను ఉపయోగిస్తారు, ఇది వేగంగా ఉంటుంది కానీ సురక్షితం కాదు.
  • Security vulnerabilities: బృందాలు కోడ్‌ను స్కాన్ చేయడానికి LLMలను ఉపయోగిస్తాయి, కానీ అవి configuration మరియు infrastructure ప్రమాదాలను గుర్తించలేవు.

ఒక స్థిరమైన వ్యవస్థకు ఐదు భాగాలు అవసరం:

  • ఒక Tool (the model).
  • ఒక Engine (declared intent).
  • ఒక Transmission (contracts and CI/CD).
  • ఒక Control Unit (an independent oracle).
  • ఒక Casing (enforced boundaries).

చాలా AI వ్యవస్థలలో Control Unit మరియు Casing లేవు. అవి స్వచ్ఛందంగా పాటించే guardrails పై ఆధారపడి ఉన్నాయి. మోడల్స్ మెరుగుపడే కొద్దీ ఈ guardrails తరచుగా పనికిరాకుండా పోతాయి.

పరిశ్రమ 10% వినాశన అవకాశాన్ని ఆమోదయోగ్యమైన ప్రమాదంగా పరిగణిస్తోంది. అది తప్పు. డెవలపర్ల నుండి వచ్చే స్వచ్ఛంద చర్యలు సరిపోవు. పోటీ అనేది భద్రతా దశలను విస్మరించడానికి ప్రేరేపిస్తుంది.

మనకు కేవలం సలహాలు మాత్రమే కాదు, యాంత్రిక అమలు (mechanical enforcement) అవసరం. అంచనా వేసిన వైఫల్యాలు జరగకముందే, రిస్క్ పరిశోధన మరియు ఇంజనీరింగ్ పద్ధతుల మధ్య ఉన్న అంతరాన్ని మనం పూరించాలి.

Source: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb

Optional learning community: https://t.me/GyaanSetuAi