Anthropic Study Finds AI-Generated Code Cuts Understanding by 17% With No Speed Gain

Anthropic-ന്റെ ഏറ്റവും പുതിയ പഠനം കാണിക്കുന്നത്, കോഡ് ജനറേഷനായി AI-യെ ആശ്രയിക്കുന്ന ഡെവലപ്പർമാർ, കോൺസെപ്റ്റ് അണ്ടർസ്റ്റാൻഡിംഗ് ടെസ്റ്റുകളിൽ 17 ശതമാനം കുറഞ്ഞ മാർക്ക് നേടുന്നതായും ഡോക്യുമെന്റേഷനും വെബ് സെർച്ചും ഉപയോഗിക്കുന്നവരെക്കാൾ വേഗത്തിൽ ജോലികൾ പൂർത്തിയാക്കുന്നില്ലെന്നുമാണ്. AI നിമിഷങ്ങൾക്കുള്ളിൽ പ്രവർത്തിക്കുന്ന കോഡ് നൽകുമെങ്കിലും, യഥാർത്ഥ എഞ്ചിനീയറിംഗ് വൈദഗ്ധ്യത്തിന്റെ മൂല്യം അത് കുറയ്ക്കുന്നില്ലെന്ന് ഈ കണ്ടെത്തലുകൾ അടിവരയിടുന്നു.

ഈ പഠനം പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

പരീക്ഷണത്തിൽ ഡെവലപ്പർമാരെ രണ്ട് ഗ്രൂപ്പുകളായി തിരിച്ചു. ഒരു ഗ്രൂപ്പിന് AI കോഡ്-ജനറേഷൻ ടൂളിന്റെ പരിധിയില്ലാത്ത പ്രവേശനം നൽകി; മറ്റേ ഗ്രൂപ്പ് ഔദ്യോഗിക ഡോക്യുമെന്റേഷനും ഇന്റർനെറ്റ് സെർച്ചും മാത്രം ഉപയോഗിച്ച് ഒരേ പ്രശ്നങ്ങൾ പരിഹരിച്ചു. ജോലികൾക്ക് ശേഷം, അടിസ്ഥാന തത്വങ്ങളെക്കുറിച്ചുള്ള അറിവ് പരിശോധിക്കുന്നതിനായി പങ്കാളികൾ ഒരു ക്വിസ് എഴുതി. AI സഹായം തേടിയ ഗ്രൂപ്പിന്റെ ശരാശരി സ്കോർ 17 ശതമാനം കുറവായിരുന്നു, കൂടാതെ രണ്ട് ഗ്രൂപ്പുകളും വേഗതയിൽ കാര്യമായ വ്യത്യാസം കാണിച്ചതുമില്ല.

പ്രായോഗികമായി പറഞ്ഞാൽ, “vibe coding”—അതായത് ഒരു കോഡ് സ്നിപ്പറ്റ് നിർമ്മിക്കാൻ AI-യോട് ആവശ്യപ്പെടുകയും കൂടുതൽ പരിശോധനകളില്ലാതെ അത് ഉപയോഗിക്കുകയും ചെയ്യുന്നത്—ഉൽപ്പാദനക്ഷമത വർദ്ധിപ്പിക്കുന്നില്ല. ഇത് അറിവിലെ കുറവിനെ മറച്ചുവെക്കുക മാത്രമാണ് ചെയ്യുന്നത്, ഇത് പിന്നീട് ബഗുകളായോ (bugs), മെയിന്റനൻസ് ബുദ്ധിമുട്ടുകളായോ, അല്ലെങ്കിൽ വലിയ ചിലവുള്ള റീറൈറ്റുകളായോ (rewrites) പുറത്തുവരും.

ഈ കണക്കുകൾക്ക് പിന്നിലെ സാഹചര്യം

Anthropic-ന്റെ ഗവേഷണം കാണിക്കുന്നത് AI നൽകുന്ന വാഗ്ദാനങ്ങൾ അപൂർണ്ണമാണെന്നാണ്. ഓരോ ഘട്ടത്തിലും AI ഉപയോഗിച്ചവർ—സജഷനുകൾ കോപ്പി-പേസ്റ്റ് ചെയ്യുകയും വേരിയബിൾ പേരുകൾ മാറ്റുകയും ചെയ്തുകൊണ്ട് മുന്നോട്ട് പോയവർ—പ്രശ്നത്തെക്കുറിച്ച് ഏറ്റവും കുറഞ്ഞ അറിവാണ് നേടിയത്. എന്നാൽ ടൂളിനെ ഒരു സഹകാരിയായി കണ്ടവർ—കൃത്യവും വ്യക്തവുമായ ചോദ്യങ്ങൾ ചോദിക്കുകയും ലഭിച്ച കോഡ് വിശകലനം ചെയ്യുകയും ചെയ്തവർ—ആ കോൺസെപ്റ്റ് കൂടുതൽ മനസ്സിലാക്കി.

ഈ വ്യത്യാസം വ്യവസായത്തിലെ ഒരു പൊതുവായ നിരീക്ഷണത്തെ പ്രതിഫലിപ്പിക്കുന്നു: പ്രോംപ്റ്റ് എഞ്ചിനീയർമാർക്ക് മിനിറ്റുകൾക്കുള്ളിൽ ഒരു ഫംഗ്ഷൻ തയ്യാറാക്കാൻ കഴിഞ്ഞേക്കാം, എന്നാൽ സങ്കീർണ്ണത കൂടുമ്പോൾ ഒരു സിസ്റ്റംസ് എഞ്ചിനീയർ ആണ് കൂടുതൽ വേഗത്തിൽ പ്രവർത്തിക്കുന്നത്. എന്താണ് തകരാറിലാകുന്നത് എന്നും എന്താണ് സ്കെയിൽ ചെയ്യാൻ കഴിയാത്തതെന്നും അവർ മുൻകൂട്ടി കാണുന്നു. അവരുടെ വേഗത അവരുടെ വിവേചനാധികരത്തെയാണ് സൂചിപ്പിക്കുന്നത്, അല്ലാതെ കാര്യക്ഷമതയില്ലായ്മയെയല്ല.

ആര് ജയിക്കുന്നു, ആര് തോൽക്കുന്നു

വിവേചനാധികാരം നിലനിർത്തുന്ന എഞ്ചിനീയർമാർ ആർക്കിടെക്ചർ മനസ്സിലാക്കുന്നവർ, ഘടനകൾ എവിടെ കടുപ്പമുള്ളതാകണം അല്ലെങ്കിൽ എവിടെ അയഞ്ഞതാകണം എന്ന് അറിയുന്നവർ, സിസ്റ്റം തകരാതെ ഘടകങ്ങൾ മാറ്റിയെഴുതാൻ കഴിയുന്നവർ എന്നിവർ ദീർഘകാലാടിസ്ഥാനത്തിൽ സ്ഥാപനങ്ങൾക്ക് പണം ലാഭിക്കുന്നു. വൃത്തിയുള്ളതായി തോന്നുമെങ്കിലും വ്യക്തമായ ഉദ്ദേശ്യം ഇല്ലാത്ത AI-ജനറേറ്റഡ് കോഡുകൾക്ക് പിന്നാലെ വരുന്ന സാങ്കേതികമായ കടബാധ്യതകളിൽ (technical debt) നിന്ന് അവരുടെ നൈപുണ്യം സംരക്ഷണം നൽകുന്നു.

പ്രോംപ്റ്റ് സ്പെഷ്യലിസ്റ്റുകൾ AI-യെ ഒരു മാന്ത്രിക വടി പോലെ കാണുന്നവർക്ക് വേഗത്തിൽ പ്രോട്ടോടൈപ്പുകൾ നൽകാൻ കഴിയും അല്ലെങ്കിൽ ഒറ്റപ്പെട്ട ബഗുകൾ പരിഹരിക്കാൻ കഴിയും. ഹ്രസ്വകാലത്തിൽ അവർ ഉൽപ്പാദനക്ഷമതയുള്ളവരായി തോന്നുമെങ്കിലും, കോഡ്ബേസ് വലുതാകുമ്പോൾ, AI നിർമ്മിച്ച കോഡിലെ ഒളിഞ്ഞിരിക്കുന്ന അനുമാനങ്ങൾ വലിയ ബാധ്യതകളായി മാറും. തുടർന്ന് ബഗ്ഗുകൾ പരിഹരിക്കാൻ (debugging) ശ്രമിക്കുമ്പോൾ യഥാർത്ഥ ഉദ്ദേശ്യം കണ്ടെത്താൻ കൂടുതൽ സമയം ചെലവഴിക്കേണ്ടി വരികയും അത് മെയിന്റനൻസ് ചിലവ് വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു.

സ്ഥാപനങ്ങൾ AI-യെ മാത്രം ആശ്രയിക്കുന്ന ബിസിനസ്സുകൾക്ക് ഭാവിയിൽ കൂടുതൽ ചിലവ് വരാൻ സാധ്യതയുണ്ട്: ബഗ്ഗുകൾ പരിഹരിക്കാനും, കോഡ് മാറ്റിയെഴുതാനും (refactoring), അവ്യക്തമായ കോഡ് മനസ്സിലാക്കാൻ പുതിയ എഞ്ചിനീയർമാരെ പരിശീലിപ്പിക്കാനും കൂടുതൽ സമയം ചെലവഴിക്കേണ്ടി വരും. AI സഹായവും കൃത്യമായ എഞ്ചിനീയറിംഗ് രീതികളും സമന്വയിപ്പിക്കുന്ന കമ്പനികൾക്ക് വേഗതയും ദീർഘകാല സ്ഥിരതയും ലഭിക്കുന്നു.

മിക്ക റിപ്പോർട്ടുകളും ഒഴിവാക്കുന്ന വിവരങ്ങൾ

• പഠനത്തെ ബാധിക്കുന്ന സ്വാധീനം: 17 ശതമാനം വ്യത്യാസം അളന്നത് സിന്റാക്സ് (syntax) ഓർമ്മിച്ചറിയുന്നതിനല്ല, മറിച്ച് കാര്യങ്ങൾ മനസ്സിലാക്കിയോ എന്ന് പരിശോധിക്കുന്ന ക്വിസിലൂടെയാണ്. ഇത് ഉപരിപ്ലവമായ അറിവിനെയല്ല, മറിച്ച് മാനസികമായ ധാരണയിലുള്ള യഥാർത്ഥ തകർച്ചയെയാണ് സൂചിപ്പിക്കുന്നത്.
• ജോലി പൂർത്തിയാക്കാനുള്ള സമയം: കോഡ് വേഗത്തിൽ ലഭിക്കുമെന്ന ആകർഷണം ഉണ്ടെങ്കിലും, ജോലി പൂർത്തിയാക്കാൻ എടുക്കുന്ന സമയത്തിൽ രണ്ട് ഗ്രൂപ്പുകൾ തമ്മിൽ സ്ഥിതിവിവരക്കണക്കനുസരിച്ച് കാര്യമായ വ്യത്യാസമില്ലെന്ന് പഠനം കണ്ടെത്തി. വേഗതയിലുള്ള നേട്ടം വെറും മിഥ്യയായിരുന്നു.
• രീതി പ്രധാനമാണ്: AI ഉപയോഗിക്കുന്ന രീതി ഫലത്തെ ബാധിക്കുന്നുവെന്ന് പഠനം ചൂണ്ടിക്കാട്ടി. പൂർണ്ണമായും AI-യെ ആശ്രയിക്കുന്നത് മോശം പഠനഫലങ്ങൾ നൽകുന്നു, എന്നാൽ ആവശ്യാനുസരണം ചോദ്യങ്ങൾ ചോദിച്ചു ഉപയോഗിക്കുന്നത് മികച്ച ഫലം നൽകുന്നു. "AI കോഡിംഗ് വേഗത്തിലാക്കുന്നു" എന്ന് പ്രഖ്യാപിക്കുന്ന തലക്കെട്ടുകൾ പലപ്പോഴും ഈ സൂക്ഷ്മത ശ്രദ്ധിക്കാറില്ല.

എതിർവാദം: AI ഉപയോഗശൂന്യമല്ല

ഈ പഠനം AI-യുടെ പ്രത്യേക നേട്ടങ്ങളെ നിഷേധിക്കുന്നില്ല; മറിച്ച് സോഫ്റ്റ്‌വെയർ വികസന പ്രക്രിയ മുഴുവനായി അതിനെ ആശ്രയിക്കരുത് എന്ന് മുന്നറിയിപ്പ് നൽകുന്നു. സിസ്റ്റം ഡിസൈൻ, പെർഫോമൻസ് ട്യൂണിംഗ്, അല്ലെങ്കിൽ സെക്യൂരിറ്റി എന്നിവയുടെ കാര്യത്തിൽ മനുഷ്യന്റെ വിവേചനാധികാരം അത്യന്താപേക്ഷിതമാണ്.

പാഠം

AI നിങ്ങൾക്ക് ഒരു സ്കേറ്റ്ബോർഡ് നൽകിയേക്കാം, പക്ഷേ ബ്രേക്കുകളും സ്റ്റിയറിംഗും അറിയുന്നില്ലെങ്കിൽ വളവുകളിൽ നിങ്ങൾ തട്ടി വീഴും. കോഡ് എഴുതാനുള്ള തടസ്സങ്ങൾ AI കുറയ്ക്കുന്നുണ്ടെങ്കിലും, സിസ്റ്റങ്ങളെക്കുറിച്ച് ചിന്തിക്കാനും പരാജയങ്ങൾ മുൻകൂട്ടി കാണാനും കഴിയുന്ന എഞ്ചിനീയർമാരുടെ കുറവ് ഇപ്പോഴും നിലനിൽക്കുന്നു. ഒരു പ്രോംപ്റ്റ് കൊണ്ട് അത് പകരം വരും എന്ന് പ്രതീക്ഷിക്കുന്നതിന് പകരം, ആ വിവേചനാധികരത്തിൽ നിക്ഷേപിക്കുന്നതാണ് ദീർഘകാല ചിലവ് നിയന്ത്രിക്കാനുള്ള ഏറ്റവും ബുദ്ധിപരമായ മാർഗ്ഗം.