Anthropic ನ ಇತ್ತೀಚಿನ ಅಧ್ಯಯನವು ಕೋಡ್ ಜನರೇಷನ್‌ಗಾಗಿ (code generation) AI ಅನ್ನು ಅವಲಂಬಿಸುವ ಡೆವಲಪರ್‌ಗಳು, ಪರಿಕಲ್ಪನೆಗಳ ತಿಳುವಳಿಕೆಯ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ (concept-understanding tests) ಶೇ. 17 ರಷ್ಟು ಕಡಿಮೆ ಅಂಕಗಳನ್ನು ಪಡೆಯುತ್ತಾರೆ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಹಾಗೂ ವೆಬ್ ಸರ್ಚ್‌ಗಳ ಮೇಲೆ ಅವಲಂಬಿತರಾಗಿರುವ ಸಹೋದ್ಯೋಗಿಗಳಿಗಿಂತ ಯಾವುದೇ ವೇಗವಾಗಿ ಕೆಲಸಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸುವುದಿಲ್ಲ ಎಂದು ತೋರಿಸುತ್ತದೆ. AI ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಕೋಡ್ ಅನ್ನು ಸೃಷ್ಟಿಸಬಲ್ಲದೇ ಹೊರತು, ಅದು ನಿಜವಾದ ಇಂಜಿನಿಯರಿಂಗ್ ಪರಿಣತಿಯ ಅಗತ್ಯತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುವುದಿಲ್ಲ ಎಂಬ ಅಂಶವನ್ನು ಈ ಸಂಶೋಧನೆಯು ಒತ್ತಿಹೇಳುತ್ತದೆ.

ಈ ಅಧ್ಯಯನ ಏಕೆ ಮುಖ್ಯ

ಈ ಪ್ರಯೋಗವು ಡೆವಲಪರ್‌ಗಳನ್ನು ಎರಡು ಗುಂಪುಗಳಾಗಿ ವಿಂಗಡಿಸಿತು. ಒಂದು ಗುಂಪಿಗೆ AI ಕೋಡ್-ಜನರೇಷನ್ ಟೂಲ್‌ನ ಮುಕ್ತ ಪ್ರವೇಶವಿತ್ತು; ಇನ್ನೊಂದು ಗುಂಪು ಕೇವಲ ಅಧಿಕೃತ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಮತ್ತು ಇಂಟರ್ನೆಟ್ ಸರ್ಚ್‌ಗಳನ್ನು ಬಳಸಿ ಅದೇ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಿತು. ಕಾರ್ಯಗಳ ನಂತರ, ಭಾಗವಹಿಸಿದವರು ಮೂಲ ತತ್ವಗಳ ತಿಳುವಳಿಕೆಯನ್ನು ಪರೀಕ್ಷಿಸುವ ರಸಪ್ರಶ್ನೆಯನ್ನು ಎದುರಿಸಿದರು. AI ಸಹಾಯ ಪಡೆದ ಗುಂಪಿನ ಸರಾಸರಿ ಅಂಕಗಳು ಶೇ. 17 ರಷ್ಟು ಕಡಿಮೆಯಿದ್ದವು ಮತ್ತು ಯಾವುದೇ ಗುಂಪು ಗಮನಾರ್ಹ ವೇಗದ ಪ್ರಯೋಜನವನ್ನು ತೋರಿಸಲಿಲ್ಲ.

ಪ್ರಾಯೋಗಿಕವಾಗಿ ಹೇಳುವುದಾದರೆ, “vibe coding”—ಅಂದರೆ ಒಂದು ಕೋಡ್ ಸ್ನಿಪ್ಪೆಟ್ (snippet) ತಯಾರಿಸಲು AI ಗೆ ಪ್ರಾಂಪ್ಟ್ ನೀಡುವುದು ಮತ್ತು ಅದನ್ನು ಆಳವಾಗಿ ಪರಿಶೀಲಿಸದೆ ಬಳಸಿಕೊಳ್ಳುವುದು—ಉತ್ಪಾದಕತೆಯನ್ನು ಹೆಚ್ಚಿಸುವುದಿಲ್ಲ. ಇದು ಕೇವಲ ಜ್ಞಾನದ ಕೊರತೆಯನ್ನು ಮರೆಮಾಚುತ್ತದೆ, ಇದು ನಂತರ ಬಗ್‌ಗಳು (bugs), ನಿರ್ವಹಣೆಯ ತೊಂದರೆಗಳು ಅಥವಾ ದುಬಾರಿ ಮರು-ಬರವಣಿಗೆಗಳ ರೂಪದಲ್ಲಿ ಹೊರಬರುತ್ತದೆ.

ಅಂಕಿಅಂಶಗಳ ಹಿಂದಿನ ಸಂದರ್ಭ

Anthropic ನ ಸಂಶೋಧನೆಯು ಈ ಭರವಸೆ ಅಪೂರ್ಣವಾಗಿದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಹಂತಕ್ಕೂ AI ಅನ್ನು ಬಳಸಿದವರು — ಸಲಹೆಗಳನ್ನು ಕಾಪಿ-ಪೇಸ್ಟ್ ಮಾಡುವುದು, ವೇರಿಯಬಲ್ ಹೆಸರುಗಳನ್ನು ಬದಲಾಯಿಸುವುದು ಮತ್ತು ಮುಂದೆ ಹೋಗುವುದು — ಸಮಸ್ಯೆಯ ಬಗ್ಗೆ ಅತ್ಯಂತ ಕಡಿಮೆ ಜ್ಞಾನವನ್ನು ಪಡೆದರು. ಆದರೆ, ಆ ಟೂಲ್ ಅನ್ನು ಸಹಯೋಗಿಯಂತೆ (collaborator) ಪರಿಗಣಿಸಿದ ಡೆವಲಪರ್‌ಗಳು — ನಿಖರವಾದ ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳುವುದು ಮತ್ತು ನಂತರ ಬಂದ ಕೋಡ್ ಅನ್ನು ವಿಶ್ಲೇಷಿಸುವುದು — ಪರಿಕಲ್ಪನಾ ಚೌಕಟ್ಟನ್ನು ಹೆಚ್ಚು ನೆನಪಿಟ್ಟುಕೊಂಡರು.

ಈ ವ್ಯತ್ಯಾಸವು ಉದ್ಯಮದ ವಿಶಾಲವಾದ ವೀಕ್ಷಣೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ: ಪ್ರಾಂಪ್ಟ್ ಇಂಜಿನಿಯರ್‌ಗಳು ನಿಮಿಷಗಳಲ್ಲಿ ಒಂದು ಫಂಕ್ಷನ್ ಅನ್ನು ಸೃಷ್ಟಿಸಬಹುದು, ಆದರೆ ಸಂಕೀರ್ಣತೆ ಹೆಚ್ಚಾದಂತೆ ಸಿಸ್ಟಮ್ ಇಂಜಿನಿಯರ್ ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಾರೆ. ಯಾವುದು ಮುರಿದುಬೀಳಬಹುದು ಮತ್ತು ಯಾವುದು ಸ್ಕೇಲ್ ಆಗಲು ವಿಫಲವಾಗಬಹುದು ಎಂಬುದನ್ನು ಅವರು ಮೊದಲೇ ಅಂದಾಜಿಸುತ್ತಾರೆ. ಅವರ ವೇಗವು ಅವರ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಸಾಮರ್ಥ್ಯವನ್ನು (judgment) ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆಯೇ ಹೊರತು ಅಸಮರ್ಥತೆಯನ್ನು ಅಲ್ಲ.

ಯಾರು ಗೆಲ್ಲುತ್ತಾರೆ, ಯಾರು ಸೋಲುತ್ತಾರೆ

ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುವ ಇಂಜಿನಿಯರ್‌ಗಳು ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ, ರಚನೆಗಳು ಎಲ್ಲಿ ಕಠಿಣವಾಗಿರಬೇಕು ಅಥವಾ ಎಲ್ಲಿल flexible ಆಗಿರಬೇಕು ಎಂದು ತಿಳಿದಿರುವ ಮತ್ತು ಸಿಸ್ಟಮ್ ಅನ್ನು ಹಾಳು ಮಾಡದೆ ಘಟಕಗಳನ್ನು ಮರು-ಬರೆಯಬಲ್ಲ ಇಂಜಿನಿಯರ್‌ಗಳು ದೀರ್ಘಾವಧಿಯಲ್ಲಿ ಸಂಸ್ಥೆಗಳಿಗೆ ಹಣ ಉಳಿಸುತ್ತಾರೆ. AI ಸೃಷ್ಟಿಸಿದ ಕೋಡ್ ನೋಡಲು ಸ್ವಚ್ಛವಾಗಿ ಕಂಡರೂ, ಅದರಲ್ಲಿ ಸ್ಪಷ್ಟ ಉದ್ದೇಶ ಇರುವುದಿಲ್ಲ; ಅಂತಹ ಕೋಡ್‌ನಿಂದ ಉಂಟಾಗುವ ಗುಪ್ತ ತಾಂತ್ರಿಕ ಸಾಲದಿಂದ (technical debt) ಅವರ ಕೌಶಲ್ಯವು ರಕ್ಷಿಸುತ್ತದೆ.

ಪ್ರಾಂಪ್ಟ್ ಸ್ಪೆಷಲಿಸ್ಟ್‌ಗಳು AI ಅನ್ನು ಮಾಂತ್ರಿಕ ದಂಡದಂತೆ ಪರಿಗಣಿಸುವವರು ತ್ವರಿತ ಪ್ರೊಟೊಟೈಪ್‌ಗಳನ್ನು ನೀಡಬಹುದು ಅಥವಾ ಪ್ರತ್ಯೇಕ ಬಗ್‌ಗಳನ್ನು ಪರಿಹರಿಸಬಹುದು. ಅಲ್ಪಾವಧಿಯಲ್ಲಿ ಅವರು ಉತ್ಪಾದಕವಾಗಿ ಕಾಣಿಸಬಹುದು, ಆದರೆ ಕೋಡ್ ಬೇಸ್ ವಿಸ್ತರಿಸಿದಾಗ, AI ಸೃಷ್ಟಿಸಿದ ಸ್ನಿಪ್ಪೆಟ್‌ಗಳಲ್ಲಿರುವ ಗುಪ್ತ ಕಲ್ಪನೆಗಳು ಹೊರೆಯಾಗುತ್ತವೆ. ಆಗ ಡಿಬಗ್ ಮಾಡುವುದು ಮೂಲ ಉದ್ದೇಶವನ್ನು ಹುಡುಕುವ ಕೆಲಸವಾಗಿ ಬದಲಾಗುತ್ತದೆ, ಇದು ನಿರ್ವಹಣಾ ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.

ಸಂಸ್ಥೆ ಕೇವಲ AI ಅಭಿವೃದ್ಧಿಯ ಮೇಲೆ ಅತಿಯಾಗಿ ಅವಲಂಬಿತವಾಗುವ ವ್ಯವಹಾರಗಳು ಭವಿಷ್ಯದಲ್ಲಿ ಹೆಚ್ಚಿನ ವೆಚ್ಚದ ಅಪಾಯವನ್ನು ಎದುರಿಸುತ್ತವೆ: ಡಿಬಗ್ ಮಾಡುವುದು, ರಿಫ್ಯಾಕ್ಟರಿಂಗ್ (refactoring) ಮತ್ತು ಅಸ್ಪಷ್ಟ ಕೋಡ್ ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕಾದ ಹೊಸ ಇಂಜಿನಿಯರ್‌ಗಳನ್ನು ಸೇರಿಸಿಕೊಳ್ಳಲು (onboarding) ಹೆಚ್ಚು ಸಮಯ ವ್ಯಯವಾಗುತ್ತದೆ. AI ಸಹಾಯವನ್ನು ಶಿಸ್ತುಬದ್ಧ ಇಂಜಿನಿಯರಿಂಗ್ ಪದ್ಧತಿಗಳೊಂದಿಗೆ ಬೆರೆಸುವ ಕಂಪನಿಗಳು ದೀರ್ಘಕಾಲದ ಸ್ಥಿರತೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುತ್ತಲೇ ವೇಗದ ಪ್ರಯೋಜನಗಳನ್ನು ಪಡೆಯುತ್ತವೆ.

ಹೆಚ್ಚಿನ ವರದಿಗಳು ಬಿಟ್ಟುಬಿಡುವ ವಿವರಗಳು

  • ಕಲಿಕೆಯ ಪ್ರಭಾವ: ಶೇ. 17 ರಷ್ಟು ಅಂತರವನ್ನು ಕೇವಲ ಸಿಂಟ್ಯಾಕ್ಸ್ (syntax) ನೆನಪಿಸಿಕೊಳ್ಳುವಿಕೆಯನ್ನು ಪರೀಕ್ಷಿಸುವ ಬದಲು, ತಿಳುವಳಿಕೆಯನ್ನು ಪರೀಕ್ಷಿಸುವ ರಸಪ್ರಶ್ನೆಯಲ್ಲಿ ಅಳೆಯಲಾಯಿತು. ಇದು ಮೇಲ್ಮಟ್ಟದ ಜ್ಞಾನವನ್ನಲ್ಲ, ಬದಲಾಗಿ ಮಾನಸಿಕ ಮಾದರಿಗಳ (mental models) ನೈಜ ಕ್ಷೀಣತೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ.
  • ಕಾರ್ಯ ಪೂರ್ಣಗೊಳಿಸುವ ಸಮಯ: ತಕ್ಷಣದ ಕೋಡ್ ಸಿಗುವ ಆಕರ್ಷಣೆ ಇದ್ದರೂ ಸಹ, ಪ್ರತಿಯೊಂದು ಗುಂಪು ಕಾರ್ಯವನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ತೆಗೆದುಕೊಂಡ ಸಮಯದಲ್ಲಿ ಯಾವುದೇ ಅಂಕಿಅಂಶಗಳ ಪ್ರಕಾರ ಗಮನಾರ್ಹ ವ್ಯತ್ಯಾಸ ಕಂಡುಬಂದಿಲ್ಲ. ವೇಗದ ಲಾಭಗಳು ಕೇವಲ ಭ್ರಮೆಯಾಗಿದ್ದವು.
  • ವಿಧಾನ ಮುಖ್ಯ: ಈ ಅಧ್ಯಯನವು AI ಬಳಕೆಯ ವಿವಿಧ ಹಂತಗಳನ್ನು ಎತ್ತಿ ತೋರಿಸಿದೆ. ಕೇವಲ AI ಮೇಲೆ ಅವಲಂಬಿತವಾಗುವುದು ಅತ್ಯಂತ ಕಳಪೆ ಕಲಿಕೆಯ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡಿತು, ಆದರೆ ಆಯ್ದ ಮತ್ತು ಕುತೂಹಲಕಾರಿ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಬಳಸುವುದು ಉತ್ತಮ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡಿತು. "AI ಕೋಡಿಂಗ್ ಅನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ" ಎಂದು ಘೋಷಿಸುವ ಹೆಡ್‌ಲೈನ್‌ಗಳು ಹೆಚ್ಚಾಗಿ ಈ ಸೂಕ್ಷ್ಮತೆಯನ್ನು ಮರೆಮಾಚುತ್ತವೆ.

ವಿರೋಧಾತ್ಮಕ ವಾದ: AI ನಿರರ್ಥಕವಲ್ಲ

ಈ ಅಧ್ಯಯನವು ನಿರ್ದಿಷ್ಟ ಪ್ರಯೋಜನಗಳನ್ನು ನಿರಾಕರಿಸುವುದಿಲ್ಲ; ಬದಲಾಗಿ ಅವುಗಳನ್ನು ಇಡೀ ಸಾಫ್ಟ್‌ವೇರ್ ಅಭಿವೃದ್ಧಿ ಪ್ರಕ್ರಿಯೆಗೆ ಅನ್ವಯಿಸಬಾರದು ಎಂದು ಎಚ್ಚರಿಸುತ್ತದೆ. ಸಮಸ್ಯೆಯು ಸಿಸ್ಟಮ್ ಡಿಸೈನ್, ಪರ್ಫಾರ್ಮೆನ್ಸ್ ಟ್ಯೂನಿಂಗ್ ಅಥವಾ ಭದ್ರತಾ ಪರಿಗಣನೆಗಳನ್ನು ಒಳಗೊಂಡಿದ್ದಾಗ, ಮಾನವ ನಿರ್ಧಾರವು ಅನಿವಾರ್ಯವಾಗಿರುತ್ತದೆ.

ಸಾರಾಂಶ

AI ನಿಮಗೆ ಸ್ಕೇಟ್‌ಬೋರ್ಡ್ ನೀಡಬಹುದು, ಆದರೆ ಬ್ರೇಕ್ ಮತ್ತು ಸ್ಟೀರಿಂಗ್ ಜ್ಞಾನವಿಲ್ಲದೆ ರಸ್ತೆ ತಿರುವುಗಳಲ್ಲಿ ನೀವು ಅಪಘಾತಕ್ಕೀಡಾಗುತ್ತೀರಿ. ತಂತ್ರಜ್ಞಾನವು ಕೋಡ್ ಬರೆಯುವ ಅಡೆತಡೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಆದರೂ ಸಿಸ್ಟಮ್‌ಗಳ ಬಗ್ಗೆ ವಿವೇಚನೆ ನಡೆಸಬಲ್ಲ, ವೈಫಲ್ಯವನ್ನು ಅಂದಾಜಿಸಬಲ್ಲ ಮತ್ತು ಸಾಫ್ಟ್‌ವೇರ್ ಬೆಳೆದಂತೆ ಅದನ್ನು ಸುಸ್ಥಿತಿಯಲ್ಲಿಡಬಲ್ಲ ಇಂಜಿನಿಯರ್‌ಗಳ ಕೊರತೆ ಇಂದಿಗೂ ಇದೆ. ಪ್ರಾಂಪ್ಟ್ ಅದನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ ಎಂದು ನಿರೀಕ್ಷಿಸುವ ಬದಲು, ಅಂತಹ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಸಾಮರ್ಥ್ಯದಲ್ಲಿ ಹೂಡಿಕೆ ಮಾಡುವುದು ದೀರ್ಘಕಾಲದ ವೆಚ್ಚವನ್ನು ನಿಯಂತ್ರಿಸಲು ಇರುವ ಅತ್ಯಂತ ಬುದ್ಧಿವಂತ ಮಾರ್ಗವಾಗಿದೆ.