Claude Code ತನ್ನ ಒಟ್ಟು ಟೋಕನ್ ಬಜೆಟ್‌ನ 75% ಅನ್ನು ಕೇವಲ ಕೋಡ್‌ಬೇಸ್ ಅನ್ನು ಓದುವುದಕ್ಕೇ ಬಳಸುತ್ತದೆ, ಎಂದು 219 ನೈಜ-ಪ್ರಪಂಚದ ಸೆಷನ್‌ಗಳ Red Hat ನ ವಿಶ್ಲೇಷಣೆಯು ತಿಳಿಸಿದೆ. ಈ ಸಂಶೋಧನೆಯು AI ಚಾಲಿತ ಕೋಡಿಂಗ್ ಏಜೆಂಟ್‌ಗಳು ಕೋಡ್ ರಚಿಸುವಲ್ಲಿ ಸಮಯ ವ್ಯರ್ಥ ಮಾಡುತ್ತವೆ ಎಂಬ ಸಾಮಾನ್ಯ ಕಲ್ಪನೆಯನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ ಮತ್ತು ಡೆವಲಪರ್‌ಗಳು ಕೇವಲ ಮಾಡೆಲ್ ವೇಗದ ಮೇಲೆ ಗಮನ ಹರಿಸುವ ಬದಲು, ಸಂದರ್ಭ ನಿರ್ವಹಣೆಯ (context-management) ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಪ್ರಯತ್ನಿಸಬೇಕು ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ಈ ಹೇಳಿಕೆಯ ಹಿಂದಿನ ದತ್ತಾಂಶ

Red Hat ಸಂಸ್ಥೆಯು Anthropic ನ Claude Code ನೊಂದಿಗೆ ನಡೆದ 219 ಸಂವಹನಗಳನ್ನು ಪರಿಶೀಲಿಸಿತು ಮತ್ತು ಪ್ರತಿ ಹಂತದಲ್ಲಿನ ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಲೆಕ್ಕಹಾಕಿತು. ಈ ಮಾದರಿಯಲ್ಲಿ, ಮಧ್ಯಮ ಹಂತದಲ್ಲಿ 75% ಟೋಕನ್‌ಗಳನ್ನು ಸುತ್ತಮುತ್ತಲಿನ ಕೋಡ್ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಲು (ingesting) ಬಳಸಲಾಗುತ್ತಿದ್ದರೆ, ಕೇವಲ 25% ಟೋಕನ್‌ಗಳು ಹೊಸ ಸಾಲುಗಳನ್ನು ರಚಿಸಲು ಬಳಕೆಯಾಗುತ್ತಿವೆ. ಹೆಚ್ಚಿನ AI ಪೂರೈಕೆದಾರರು ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ಒಂದೇ ದರವನ್ನು ವಿಧಿಸುವುದರಿಂದ, ವಹಿವಾಟಿನ "ಓದುವ" ಭಾಗವು ಹೆಚ್ಚಿನ ವೆಚ್ಚಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ.

ಓದುವ ವೆಚ್ಚ ಏಕೆ ಮುಖ್ಯವಾಗುತ್ತದೆ

ಆಪ್ಟಿಮೈಸೇಶನ್ ತಂತ್ರ (Optimization strategy)

ಅನೇಕ ತಂಡಗಳು ಪ್ರತಿಯೊಂದು ಜನರೇಷನ್‌ನಲ್ಲಿ ಕೆಲವು ಸೆಕೆಂಡುಗಳನ್ನು ಉಳಿಸಲು ವೇಗವಾದ ಅಥವಾ ದೊಡ್ಡ ಮಾಡೆಲ್‌ಗಳಿಗಾಗಿ ಸಂಪನ್ಮೂಲಗಳನ್ನು ವ್ಯಯಿಸುತ್ತವೆ. ಕೆಲಸದ 75% ಭಾಗವು ಕೇವಲ ಸಂದರ್ಭವನ್ನು (context) ಪಡೆಯುವುದಕ್ಕಾಗಿದ್ದರೆ, ವೇಗವಾದ ಮಾಡೆಲ್ವು ಒಟ್ಟು ಸಮಯದ ಒಂದು ಸಣ್ಣ ಭಾಗವನ್ನು ಮಾತ್ರ ಉಳಿಸುತ್ತದೆ. ನಿಜವಾದ ಪ್ರಮುಖ ಅಂಶವೆಂದರೆ ಪ್ರತಿ ಹಂತದಲ್ಲಿ ಮಾಡೆಲ್ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬೇಕಾದ ಸಂದರ್ಭದ ಪ್ರಮಾಣ.

ವೆಚ್ಚ ನಿಯಂತ್ರಣ

AI ಅಸಿಸ್ಟೆಂಟ್ ಪ್ರತಿ ವಿನಂತಿಯಲ್ಲೂ ಒಂದೇ ರೆಪೊಸಿಟರಿ ಸ್ಥಿತಿಯನ್ನು ಮತ್ತೆ ಮತ್ತೆ ಓದಿದಾಗ, ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಅತಿಯಾಗಿ ಹೆಚ್ಚಾಗುತ್ತವೆ. ದೊಡ್ಡ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳನ್ನು ಹೊಂದಿರುವ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳಲ್ಲಿ, ಜನರೇಟ್ ಮಾಡಲಾದ ಕೋಡ್‌ನ ಪ್ರಮಾಣ ಸಾಧಾರಣವಾಗಿದ್ದರೂ ಸಹ, ಬಿಲ್‌ಗಳು ಭಾರಿ ಪ್ರಮಾಣದಲ್ಲಿ ಹೆಚ್ಚಾಗಬಹುದು.

ಎಂಜಿನಿಯರಿಂಗ್ ಗಮನ

ಟೂಲ್ ತಯಾರಕರು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಹೇಗೆ ರಚಿಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಲಕ್ಷಿಸಿ, ಹೆಚ್ಚಿನ ಮಾಡೆಲ್ ಗುಣಮಟ್ಟದ ಬೆನ್ನತ್ತುತ್ತಾರೆ. ಈ ವಿಶ್ಲೇಷಣೆಯು "ಕಾಂಟೆಕ್ಸ್ಟ್ ಎಂಜಿನಿಯರಿಂಗ್" (context engineering) – ಅಂದರೆ ಮಾಡೆಲ್‌ಗೆ ನೀಡುವ ಕೋಡ್ ಅನ್ನು ಕತ್ತರಿಸುವುದು (trimming), ಕ್ಯಾಶಿಂಗ್ (caching) ಮತ್ತು ಸಾರಾಂಶಗೊಳಿಸುವುದು (summarizing) – ಮಾಡೆಲ್‌ನ ಹಂತ ಹಂತದ ಅಪ್‌ಗ್ರೇಡ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚಿನ ROI ಅನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ಓದುವ ಹೊರೆ ಅಥವಾ ಅತಿಯಾದ ವೆಚ್ಚವನ್ನು ತಡೆಯಲು ಪ್ರಾಯೋಗಿಕ ಕ್ರಮಗಳು

  • ಅಪ್ರಸ್ತುತ ಫೈಲ್‌ಗಳನ್ನು ತೆಗೆದುಹಾಕಿ (Prune irrelevant files) – ಪ್ರಸ್ತುತ ಕಾರ್ಯಕ್ಕೆ ಅಗತ್ಯವಿಲ್ಲದ ಫೈಲ್‌ಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್‌ನಿಂದ ತೆಗೆದುಹಾಕಿ. ಸಣ್ಣ ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಎಂದರೆ ಕಡಿಮೆ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಎಂದರ್ಥ.
  • ಪುನರಾವರ್ತಿತ ಓದುಗಳನ್ನು ಕ್ಯಾಶ್ ಮಾಡಿ (Cache repeated reads) – ಕೋಡ್‌ಬೇಸ್‌ನ ಸ್ಥಿರ ಭಾಗಗಳ ಬಗ್ಗೆ ಮಾಡೆಲ್ ಮಾಡಿದ ವ್ಯಾಖ್ಯಾನವನ್ನು ಸಂಗ್ರಹಿಸಿ ಮತ್ತು ಒಂದೇ ಪಠ್ಯವನ್ನು ಮತ್ತೆ ಮತ್ತೆ ಕಳುಹಿಸುವ ಬದಲು ಅದನ್ನು ವಿವಿಧ ಹಂತಗಳಲ್ಲಿ ಮರುಬಳಕೆ ಮಾಡಿ.
  • ಟೂಲ್ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಿ (Compress tool outputs) – ಬಾಹ್ಯ ಟೂಲ್‌ಗಳು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಡೇಟಾವನ್ನು (ಉದಾಹರಣೆಗೆ, lint ವರದಿಗಳು) ನೀಡಿದಾಗ, ಅವುಗಳನ್ನು Claude ಗೆ ಮರಳಿ ಕಳುಹಿಸುವ ಮೊದಲು ಸಾರಾಂಶಗೊಳಿಸಿ.
  • ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಡಿಫ್‌ಗಳನ್ನು ಬಳಸಿ (Use incremental diffs) – ಇಡೀ ಫೈಲ್‌ನ ವಿಷಯವನ್ನು ಕಳುಹಿಸುವ ಬದಲು, ಹಿಂದಿನ ಹಂತದಿಂದ ಆದ ಬದಲಾವಣೆಗಳನ್ನು ಮಾತ್ರ ಕಳುಹಿಸಿ.

ಈ ತಂತ್ರಗಳು ಪ್ರತಿ ಸಂವಹನದ ಮೇಲೂ ಒಂದೇ ರೆಪೊಸಿಟರಿ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ ಅನ್ನು AI ಮತ್ತೆ ಮತ್ತೆ ಓದದಂತೆ ತಡೆಯುವ ಗುರಿಯನ್ನು ಹೊಂದಿವೆ, ಇದು ವಿಳಂಬ (latency) ಮತ್ತು ವೆಚ್ಚ ಎರಡನ್ನೂ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ವಿರೋಧಾತ್ಮಕ ವಾದ: ವೇಗವು ಇನ್ನೂ ಮುಖ್ಯವಾಗಿದೆ

ಕೆಲವು ಡೆವಲಪರ್‌ಗಳು ವೇಗವಾದ ಮಾಡೆಲ್ ಇನ್ನೂ ಮುಖ್ಯ ಎಂದು ವಾದಿಸುತ್ತಾರೆ, ಏಕೆಂದರೆ ಅದು ಜನರೇಟ್ ಮಾಡಲಾದ 25% ಟೋಕನ್‌ಗಳ ವಿಳಂಬವನ್ನು (latency) ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ವಿಳಂಬಕ್ಕೆ ಸೂಕ್ಷ್ಮವಾಗಿರುವ ಪರಿಸರಗಳಲ್ಲಿ—ತಕ್ಷಣವೇ ಪ್ರತಿಕ್ರಿಯಿಸಬೇಕಾದ IDE ಪ್ಲಗಿನ್‌ಗಳಂತಹ ಸಂದರ್ಭಗಳಲ್ಲಿ—ಪ್ರತಿ ಮಿಲಿಸೆಂಡ್ವೂ ಮುಖ್ಯವಾಗಿರುತ್ತದೆ. ಓದುವಿಕೆಗೆ ಪ್ರಾಧಾನ್ಯತೆ ನೀಡುವ ಈ ಪ್ರೊಫೈಲ್ ವೇಗವಾದ ಮಾಡೆಲ್‌ನ ಪ್ರಯೋಜನವನ್ನು ಇಲ್ಲವಾಗಿಸುವುದಿಲ್ಲ; ಅದು ಕೇವಲ ಅದರ ಸಾಪೇಕ್ಷ ಪರಿಣಾಮವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು

Red Hat ನ ಅಧ್ಯಯನವು ಸೀಮಿತ ಸೆಷನ್‌ಗಳ ಮೇಲೆ ಆಧಾರಿತವಾಗಿದೆ, ಆದ್ದರಿಂದ ವ್ಯಾಪಕವಾದ ಮಾದರಿಯು ಇತರ ಭಾಷೆಗಳು ಅಥವಾ ಪ್ರಾಜೆಕ್ಟ್ ಗಾತ್ರಗಳಿಗೆ ವಿಭಿನ್ನ ಟೋಕನ್ ವಿತರಣೆಯನ್ನು ಬಹಿರಂಗಪಡಿಸಬಹುದು. ಭವಿಷ್ಯದ ದತ್ತಾಂಶವು 75% ಓದುವಿಕೆಯ ಅಂಕಿಅಂಶವನ್ನು ಖಚಿತಪಡಿಸಿದರೆ, ನಾವು ಸಂದರ್ಭವನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಕತ್ತರಿಸುವ ಮತ್ತು ಕ್ಯಾಶ್ ಮಾಡುವ ಟೂಲ್‌ಗಳ ಕಡೆಗೆ ಅಥವಾ ವೇಗದ ಸಂದರ್ಭ ಅಳವಡಿಕೆಗೆ ಹೊಂದಾಣಿಕೆಯಾದ ಮಾಡೆಲ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ಕಡೆಗೆ ಬದಲಾವಣೆಯನ್ನು ನೋಡಬಹುದು.

ಮುಖ್ಯ ಅಂಶ (Takeaway): AI-ಸಹಾಯಿತ ಕೋಡಿಂಗ್‌ನಲ್ಲಿ, ಮಾಡೆಲ್‌ಗೆ ಕಡಿಮೆ ಮಾಹಿತಿಯನ್ನು ನೀಡುವುದರಿಂದ ಅಗ್ಗದ ಕಾರ್ಯಕ್ಷಮತೆಯ ಲಾಭ ಸಿಗುತ್ತದೆ, ಅದನ್ನು ವೇಗವಾಗಿ ಬರೆಯುವಂತೆ ಮಾಡುವುದರಿಂದಲ್ಲ. Red Hat ನ ಅಂಕಿಅಂಶಗಳು ಸ್ಪಷ್ಟವಾದ ವಾದವನ್ನು ಮಾಡುತ್ತದೆ: ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಕತ್ತರಿಸಿ, ಕ್ಯಾಶ್ ಮಾಡಿ ಮತ್ತು ಸಾರಾಂಶಗೊಳಿಸಿ, ಆಗ ನೀವು ಸಮಯ ಮತ್ತು ಹಣ ಎರಡರಲ್ಲೂ ಗಮನಾರ್ಹ ಉಳಿತಾಯವನ್ನು ನೋಡುವಿರಿ.