Anthropic యొక్క తాజా అధ్యయనం ప్రకారం, కోడ్ జనరేషన్ కోసం AIపై ఆధారపడే డెవలపర్లు, కాన్సెప్ట్-అండర్‌స్టాండింగ్ (భావనల అవగాహన) పరీక్షల్లో 17 శాతం తక్కువ స్కోరు సాధిస్తున్నారు మరియు డాక్యుమెంటేషన్ మరియు వెబ్ సెర్చ్‌లపై ఆధారపడే తోటివారి కంటే పనులను వేగంగా పూర్తి చేయడం లేదు. AI సెకన్లలో పనిచేసే కోడ్‌ను అందించగలిగినప్పటికీ, అది నిజమైన ఇంజనీరింగ్ నైపుణ్యం యొక్క ఖర్చును తగ్గించదని ఈ ఫలితాలు నొక్కి చెబుతున్నాయి.

ఈ అధ్యయనం ఎందుకు ముఖ్యం

ఈ ప్రయోగంలో డెవలపర్‌లను రెండు సమూహాలుగా విభజించారు. ఒక సమూహానికి AI కోడ్-జనరేషన్ టూల్‌పై ఎటువంటి పరిమితులు లేని యాక్సెస్ లభించింది; మరొక సమూహం కేవలం అధికారిక డాక్యుమెంట్లు మరియు ఇంటర్నెట్ సెర్చ్‌లను ఉపయోగించి అదే సమస్యలను పరిష్కరించింది. అసైన్‌మెంట్ల తర్వాత, ప్రాథమిక సూత్రాలపై అవగాహనను పరీక్షించే క్విజ్ నిర్వహించారు. AI సహాయం తీసుకున్న సమూహం యొక్క సగటు స్కోరు 17 శాతం తక్కువగా ఉంది, మరియు ఏ సమూహం కూడా వేగంలో గణనీయమైన తేడాను చూపలేదు.

ఆచరణాత్మక పరంగా చెప్పాలంటే, “vibe coding”—అంటే ఒక కోడ్ స్నిప్పెట్‌ను రూపొందించమని AIకి ప్రాంప్ట్ ఇచ్చి, దానిని లోతుగా పరిశీలించకుండా నేరుగా ఉపయోగించడం—ఉత్పాదకతను పెంచదు. ఇది కేవలం జ్ఞాన లోపాన్ని (knowledge gap) కప్పిపుచ్చుతుంది, ఇది తర్వాతి కాలంలో బగ్స్, మెయింటెనెన్స్ ఇబ్బందులు లేదా ఖరీదైన రీరైట్‌ల రూపంలో బయటపడుతుంది.

ఈ గణాంకాల వెనుక ఉన్న సందర్భం

Anthropic పరిశోధన ప్రకారం, AI ఇచ్చే వాగ్దానం అసంపూర్ణమైనది. ప్రతి దశలోనూ AIని ఉపయోగించిన వారు—అంటే సూచనలను కాపీ-పేస్ట్ చేయడం, వేరియబుల్ పేర్లను మార్చడం మరియు ముందుకు వెళ్లడం—సమస్య యొక్క డొమైన్ గురించి అతి తక్కువగా నేర్చుకున్నారు. అదే సమయంలో, ఆ టూల్‌ను ఒక సహకారిగా (collaborator) భావించిన డెవలపర్లు—అంటే ఖచ్చితమైన, సూక్ష్మమైన ప్రశ్నలు అడగడం మరియు వచ్చిన కోడ్‌ను విశ్లేషించడం—కాన్సెప్చువల్ ఫ్రేమ్‌వర్క్‌ను మెరుగ్గా గుర్తుంచుకున్నారు.

ఈ వ్యత్యాసం పరిశ్రమలోని ఒక విస్తృత పరిశీలనను ప్రతిబింబిస్తుంది: ప్రాంప్ట్ ఇంజనీర్లు నిమిషాల్లో ఒక ఫంక్షన్‌ను రూపొందించగలరు, కానీ సంక్లిష్టత పెరిగే కొద్దీ సిస్టమ్స్ ఇంజనీర్ వేగంగా పనిచేయగలరు. ఏది విచ్ఛిన్నమవుతుంది మరియు ఏది స్కేల్ అవ్వదు అనే అంశాలను వారు ముందుగానే ఊహించగలరు. వారి వేగం వారి విచక్షణను (judgment) సూచిస్తుంది, అసమర్థతను కాదు.

ఎవరు గెలుస్తారు, ఎవరు ఓడిపోతారు

విచక్షణను కలిగి ఉన్న ఇంజనీర్లు ఆర్కిటెక్చర్‌ను అర్థం చేసుకుని, నిర్మాణాలు ఎక్కడ దృఢంగా ఉండాలి లేదా ఎక్కడ ఫ్లెక్సిబుల్‌గా ఉండాలి అని తెలిసి, సిస్టమ్‌ను దెబ్బతీయకుండా భాగాలను (components) తిరిగి వ్రాయగలిగే ఇంజనీర్లు సంస్థలకు దీర్ఘకాలంలో డబ్బును ఆదా చేస్తారు. AI ద్వారా రూపొందించబడిన కోడ్ చూడటానికి శుభ్రంగా ఉన్నప్పటికీ, అందులో స్పష్టమైన ఉద్దేశ్యం (explicit intent) ఉండకపోవచ్చు. అటువంటి సందర్భాల్లో తలెత్తే దాగి ఉన్న టెక్నికల్ డెట్ (technical debt) నుండి వారి నైపుణ్యం రక్షణ కల్పిస్తుంది.

ప్రాంప్ట్ స్పెషలిస్టులు AIని ఒక మంత్రదండంలా భావించేవారు త్వరగా ప్రోటోటైప్‌లను అందించగలరు లేదా విడివిడి బగ్స్‌ను పరిష్కరించగలరు. స్వల్పకాలంలో వారు ఉత్పాదకత కలిగి ఉన్నట్లు కనిపిస్తారు, కానీ కోడ్‌బేస్ విస్తరించినప్పుడు, AI రూపొందించిన స్నిప్పెట్‌లలోని దాగి ఉన్న ఊహలు (hidden assumptions) భారంగా మారుతాయి. అప్పుడు డీబగ్గింగ్ అనేది అసలు ఉద్దేశ్యాన్ని వెతకడంలా మారి, మెయింటెనెన్స్ ఖర్చులను పెంచుతుంది.

సంస్థ కేవలం AI-ఆధారిత డెవలప్‌మెంట్‌పైనే ఎక్కువగా ఆధారపడే వ్యాపారాలు భవిష్యత్తులో అధిక ఖర్చుల రిస్క్‌ను ఎదుర్కొంటాయి: డీబగ్గింగ్, రీఫ్యాక్టరింగ్ మరియు అర్థం చేసుకోవడానికి కష్టంగా ఉండే (opaque) కోడ్‌ను విశ్లేషించాల్సిన కొత్త ఇంజనీర్ల శిక్షణ కోసం ఎక్కువ సమయం వెచ్చించాల్సి వస్తుంది. AI సహాయాన్ని క్రమశిక్షణతో కూడిన ఇంజనీరింగ్ పద్ధతులతో కలిపి ఉపయోగించే కంపెనీలు, దీర్ఘకాలిక స్థిరత్వాన్ని కాపాడుకుంటూనే వేగవంతమైన ప్రయోజనాలను పొందుతాయి.

చాలా నివేదికలు విస్మరించే వివరాలు

  • నేర్చుకునే సామర్థ్యంపై ప్రభావం (Learning impact): ఈ 17 శాతం వ్యత్యాసం కేవలం సింటాక్స్ (syntax) గుర్తుంచుకోవడాన్ని మాత్రమే కాకుండా, అవగాహనను పరీక్షించే క్విజ్ ద్వారా కొలవబడింది. ఇది పైపైన జ్ఞానాన్ని మాత్రమే కాదు, మెంటల్ మోడల్స్ (mental models) క్షీణించడాన్ని సూచిస్తుంది.
  • పని పూర్తి చేసే సమయం (Task completion time): తక్షణ కోడ్ లభిస్తుందనే ఆకర్షణ ఉన్నప్పటికీ, అసైన్‌మెంట్‌ను పూర్తి చేయడానికి రెండు సమూహాలు తీసుకున్న సమయాల్లో గణాంకపరంగా గణనీయమైన తేడా లేదని అధ్యయనం తేల్చింది. వేగంలో వచ్చిన లాభం కేవలం భ్రమ మాత్రమే.
  • పద్ధతి ముఖ్యం (Method matters): AI వినియోగంలో వివిధ రకాల పద్ధతులు ఉన్నాయని ఈ అధ్యయనం నొక్కి చెప్పింది. AIపై పూర్తిగా ఆధారపడటం వల్ల అత్యంత తక్కువ నేర్చుకునే ఫలితాలు వచ్చాయి, అయితే ఎంపిక చేసిన, జిజ్ఞాసతో కూడిన ప్రాంప్టింగ్ (inquisitive prompting) మెరుగైన ఫలితాలను ఇచ్చింది. "AI కోడింగ్‌ను వేగవంతం చేస్తుంది" అని ప్రకటించే హెడ్ లైన్లు తరచుగా ఈ సూక్ష్మతను విస్మరిస్తాయి.

ప్రతివాదన: AI పనికిరాదు అని కాదు

ఈ అధ్యయనం AI యొక్క ప్రత్యేక ప్రయోజనాలను (niche benefits) తోసిపుచ్చడం లేదు; కేవలం ఆ ప్రయోజనాలను మొత్తం సాఫ్ట్‌వేర్ డెవలప్‌మెంట్ ప్రక్రియకు వర్తింపజేయవద్దని హెచ్చరిస్తోంది. సమస్య సిస్టమ్ డిజైన్, పెర్ఫార్మెన్స్ ట్యూనింగ్ లేదా సెక్యూరిటీ అంశాలకు సంబంధించినప్పుడు, మానవ విచక్షణ (human judgment) అనివార్యంగా ఉంటుంది.

ముగింపు (Takeaway)

AI మీకు ఒక స్కేట్‌బోర్డ్‌ను అందించగలదు, కానీ బ్రేకులు మరియు స్టీరింగ్ నడపడం తెలియకపోతే రోడ్డు వంపు తిరిగినప్పుడు మీరు ప్రమాదానికి గురవుతారు. ఈ సాంకేతికత కోడ్ రాయడానికి అవసరమైన అడ్డంకులను తగ్గిస్తుంది, అయినప్పటికీ సిస్టమ్‌ల గురించి ఆలోచించగల, వైఫల్యాలను ఊహించగల మరియు సాఫ్ట్‌వేర్ అభివృద్ధి చెందుతున్న కొద్దీ దానిని సమర్థవంతంగా నిర్వహించగల ఇంజనీర్ల కొరత అలాగే ఉంది. ప్రాంప్ట్ దానిని భర్తీ చేస్తుందని ఆశించడం కంటే, ఆ విచక్షణను (judgment) పెంపొందించడంపై పెట్టుబడి పెట్టడమే దీర్ఘకాలిక ఖర్చులను నియంత్రించడానికి తెలివైన మార్గం.