Solo Researcher Cuts LLM Agent Bill 31% to $651 by Logging Every Token

ಒಬ್ಬ ಏಕಾಂಗಿ ಸಂಶೋಧಕರು ತಮ್ಮ LLM-ಚಾಲಿತ ಸಂಶೋಧನಾ ಏಜೆಂಟ್ ಬಳಸಿದ ಪ್ರತಿಯೊಂದು ಟೋಕನ್ ಅನ್ನು ಒಂದು ತಿಂಗಳ ಕಾಲ ದಾಖಲಿಸಿದರು ಮತ್ತು ಬಿಲ್‌ನಲ್ಲಿ 31% ಉಳಿತಾಯ ಮಾಡಿದರು. ವೆಚ್ಚವು $945 ರಿಂದ $651 ಕ್ಕೆ ಇಳಿಯಿತು ಮತ್ತು ಯಶಸ್ಸಿನ ದರವು 91% ರಿಂದ 93% ಕ್ಕೆ ಏರಿತು, ಇದು ವೆಚ್ಚ-ಸಂವೇದನಾಶೀಲ AI ವರ್ಕ್‌ಫ್ಲೋಗಳನ್ನು ನಡೆಸುವ ಯಾರಿಗಾದರೂ ಗಮನಾರ್ಹವಾದ ಫಲಿತಾಂಶವಾಗಿದೆ.

ಟೋಕನ್-ಮಟ್ಟದ ಡೇಟಾ ಏಕೆ ಮುಖ್ಯವಾಯಿತು

ಹೆಚ್ಚಿನ LLM ಬಳಕೆದಾರರು ಕೇವಲ ಅಂತಿಮ ಇನ್‌ವಾಯ್ಸ್ ಅನ್ನು ಮಾತ್ರ ನೋಡುತ್ತಾರೆ - ಇದು ಪ್ರತಿಯೊಂದು ಉಪ-ಕಾರ್ಯದ (sub-task) ವೆಚ್ಚವನ್ನು ಮರೆಮಾಚುವ ಒಟ್ಟು ಮೊತ್ತವಾಗಿದೆ. ಸಂಶೋಧಕನ ಏಜೆಂಟ್ ಮೂರು ಪ್ರಮುಖ ಕಾರ್ಯಗಳನ್ನು ಮಾಡ了: SEC ಫೈಲಿಂಗ್‌ಗಳನ್ನು ಹುಡುಕುವುದು, ವರದಿಗಳನ್ನು ಸಿದ್ಧಪಡಿಸುವುದು ಮತ್ತು ಸಂಶೋಧನಾ ಸಂಶ್ಲೇಷಣೆಗಳನ್ನು (research syntheses) ಒಟ್ಟುಗೂಡಿಸುವುದು. ವಿವರವಾದ ಡೇಟಾ ಇಲ್ಲದೆ, ಜೂನ್ ತಿಂಗಳಲ್ಲಿ ತಾನು ಪಾವತಿಸಿದ $312 ಸರಿಯಾಗಿ ಬಳಕೆಯಾಗಿದೆಯೇ ಎಂದು ತಿಳಿಯಲು ಅವರಿಗೆ ಸಾಧ್ಯವಾಗಲಿಲ್ಲ.

ಅಡಗಿರುವ ವೆಚ್ಚದ ಸೋರಿಕೆಯನ್ನು ಪತ್ತೆಹಚ್ಚಲು, ಅವರು ಮಾಡೆಲ್ ಹೆಸರು, ಟೋಕನ್ ಸಂಖ್ಯೆ, ಕಾರ್ಯದ ಪ್ರಕಾರ ಮತ್ತು ಪ್ರತಿ ಕರಲ್ (per-call) ವೆಚ್ಚವನ್ನು ಸೆರೆಹಿಡಿಯುವ PostgreSQL ಲಾಗಿಂಗ್ ಲೇಯರ್ ಅನ್ನು ಸೇರಿಸಿದರು. 30 ದಿನಗಳ ನಂತರ ಡೇಟಾ ಸ್ಪಷ್ಟ ಚಿತ್ರಣವನ್ನು ನೀಡಿತು:

• SEC ಫೈಲಿಂಗ್ ಹುಡುಕಾಟ – ಒಟ್ಟು ವೆಚ್ಚದ 41%
• ವರದಿ ಸಿದ್ಧಪಡಿಸುವುದು – 28%
• ಸಂಶೋಧನಾ ಸಂಶ್ಲೇಷಣೆ – 17%
• ಗುಣಮಟ್ಟದ ತಪಾಸಣೆಗಳು – 9%
• ಇತರೆ – 5%

ಅತ್ಯಂತ ದುಬಾರಿ ಹಂತವು ಮಾಡೆಲ್ ಅಲ್ಲ, ಬದಲಾಗಿ ಏಜೆಂಟ್ ಕಚ್ಚಾ ಹುಡುಕಾಟದ ಫಲಿತಾಂಶಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್‌ಗಳಿಗೆ (prompts) ಹೇಗೆ ನೀಡುತ್ತದೆ ಎಂಬುದು ಎಂದು ಅಂಕಿಅಂಶಗಳು ತೋರಿಸಿದವು.

ಉಳಿತಾಯಕ್ಕೆ ಕಾರಣವಾದ ಮೂರು ಬದಲಾವಣೆಗಳು

1. ಪ್ರಾಂಪ್ಟ್ ಮಾಡುವ ಮೊದಲು ಸಾರಾಂಶ ಮಾಡಿ (Summarize)

ಮೂಲತಃ ಏಜೆಂಟ್ ಪ್ರತಿಯೊಂದು ಪ್ರಾಂಪ್ಟ್‌ಗೆ 20 ಕಚ್ಚಾ ಹುಡುಕಾಟದ ಫಲಿತಾಂಶಗಳನ್ನು ತುಂಬುತ್ತಿತ್ತು, ಇದರಿಂದ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆ ವಿಪರೀತವಾಗಿ ಹೆಚ್ಚಾಗುತ್ತಿತ್ತು. ಅವರು ಮೊದಲು ಒಂದು ಅಗ್ಗದ ಸಾರಾಂಶಕಾರಿಯನ್ನು (summarizer) ಸೇರಿಸುವ ಮೂಲಕ ಇನ್‌ಪುಟ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಿದರು. ಹುಡುಕಾಟದ ಕಾರ್ಯದ ವೆಚ್ಚವು $0.84 ರಿಂದ $0.19 ಕ್ಕೆ ಇಳಿಯಿತು – ಅಂದರೆ 77% ಕಡಿತ.

2. ಸರಳ ತಪಾಸಣೆಗಳನ್ನು ಅಗ್ಗದ ಮಾಡೆಲ್‌ಗೆ ವರ್ಗಾಯಿಸಿ

ಗುಣಮಟ್ಟದ ತಪಾಸಣೆಗಳು ಪ್ರತಿ ತಪಾಸಣೆಗೆ $0.09 ವೆಚ್ಚವಾಗುವ ಹೈ-ಎಂಡ್ ಮಾಡೆಲ್‌ನಲ್ಲಿ ನಡೆಯುತ್ತಿದ್ದವು. ಅವರು ಹೆಚ್ಚಿನ ಪಾಸ್/ಫೇಲ್ (pass/fail) ತಪಾಸಣೆಗಳಿಗಾಗಿ ಕಡಿಮೆ ಬೆಲೆಯ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸಿದರು, ಇದರಿಂದ ಪ್ರತಿ ತಪಾಸಣೆಯ ಬೆಲೆ $0.01 ಕ್ಕೆ ಇಳಿಯಿತು. ಅಗ್ಗದ ಮಾಡೆಲ್ 89% ರಷ್ಟು ಬಾರಿ ಸರಿಯಾಗಿ ಉತ್ತರಿಸಿತು; ಯಾವುದೇ ವೈಫಲ್ಯ ಕಂಡುಬಂದಲ್ಲಿ ಅದನ್ನು ಮೂಲ ಮಾಡೆಲ್‌ಗೆ ವರ್ಗಾಯಿಸಲಾಗುತ್ತಿತ್ತು (escalated), ಇದರಿಂದ ನಿಖರತೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುತ್ತಲೇ ವೆಚ್ಚವನ್ನು 87% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡಲಾಯಿತು.

3. ವಿಶ್ವಾಸಾರ್ಹತೆ ಹೆಚ್ಚಿದ್ದಾಗ ತಪಾಸಣೆಗಳನ್ನು ಬಿಟ್ಟುಬಿಡಿ

ಕಾರ್ಯದ ಐತಿಹಾಸಿಕ ಯಶಸ್ಸಿನ ದರವು ಹೆಚ್ಚಿದ್ದಾಗ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಉದ್ದವು ನಿರೀಕ್ಷಿತ ಮಿತಿಯಲ್ಲಿದ್ದಾಗ, ಗುಣಮಟ್ಟ ತಪಾಸಣಾ ಹಂತವನ್ನು ಬೈಪಾಸ್ (bypass) ಮಾಡಲು ಅವರು ಒಂದು ನಿಯಮವನ್ನು ಸೇರಿಸಿದರು. ಇದು ಅನಿವಾರ್ಯವಾಗಿ ನಡೆಯುತ್ತಿದ್ದ ತಪಾಸಣೆಗಳಲ್ಲಿ ಸುಮಾರು 60% ರಷ್ಟು ತಪಾಸಣೆಗಳನ್ನು ತಪ್ಪಿಸಿತು.

ಫಲಿತಾಂಶ

ಈ ಮೂರು ಬದಲಾವಣೆಗಳನ್ನು ಅಳವಡಿಸಿದ ನಂತರ, ಮಾಸಿಕ ಲೆಕ್ಕಪತ್ರ ಹೀಗಿತ್ತು:

• ಒಟ್ಟು ವೆಚ್ಚ: $945 → $651 (31% ಕಡಿತ)
• SEC ಹುಡುಕಾಟದ ಕಾರ್ಯದ ವೆಚ್ಚ: $0.84 → $0.19 (77% ಕಡಿತ)
• ಗುಣಮಟ್ಟ ತಪಾಸಣಾ ಕಾರ್ಯದ ವೆಚ್ಚ: $0.09 → $0.01 (87% ಕಡಿತ)
• ಒಟ್ಟು ಯಶಸ್ಸಿನ ದರ: 91% → 93%

ಹೆಚ್ಚಿನ ಯಶಸ್ಸಿನ ದರವು, ಚಿಕ್ಕದಾದ ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಗೊಂದಲವನ್ನು (noise) ಕಡಿಮೆ ಮಾಡಿ ಮಾಡೆಲ್ ಅನ್ನು ಮುಖ್ಯ ಪ್ರಶ್ನೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಲು ಸಹಾಯ ಮಾಡಿದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ಎಚ್ಚರಿಕೆಗಳು ಮತ್ತು ವಿರೋಧಾಭಿಪ್ರಾಯಗಳು

ಈ ವಿಧಾನವು ಎರಡು ಊಹೆಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ. ಮೊದಲನೆಯದಾಗಿ, ಅಗ್ಗದ ಸಾರಾಂಶಕಾರಿಯು ಮುಂದಿನ ತಾರ್ಕಿಕತೆಗಾಗಿ (downstream reasoning) ಸಾಕಷ್ಟು ಮಾಹಿತಿಯನ್ನು ಉಳಿಸಿಕೊಳ್ಳಬೇಕು; ಒಂದು ವೇಳೆ ಅದು ನಿರ್ಣಾಯಕ ವಿವರಗಳನ್ನು ಕೈಬಿಟ್ಟರೆ, ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟವು ಕುಸಿಯಬಹುದು. ಎರಡನೆಯದಾಗಿ, ಗುಣಮಟ್ಟ ತಪಾಸಣೆಗಾಗಿ ಬಳಸುವ ಕಡಿಮೆ ವೆಚ್ಚದ ಮಾಡೆಲ್ ಪರಿಪೂರ್ಣವಾಗಿಲ್ಲ; ಅದರ 89% ನಿಖರತೆಯು ಎಂದರೆ ಸಣ್ಣ ಪ್ರಮಾಣದ ತಪ್ಪುಗಳು ಇನ್ನೂ ಅಂತಿಮ ಉತ್ಪನ್ನವನ್ನು ತಲುಪಬಹುದು, ಆದರೂ ಎಸ್ಕಲೇಷನ್ ಹಾದಿಯು ಹೆಚ್ಚಿನವುಗಳನ್ನು ಹಿಡಿಯುತ್ತದೆ. ಕಟ್ಟುನಿಟ್ಟಿನ ಅನುಸರಣೆ (compliance) ಅಗತ್ಯವಿರುವ ಬಳಕೆದಾರರಿಗೆ ಕಟ್ಟುನಿಟ್ಟಾದ ಮಿತಿಗಳು ಅಥವಾ ಹೆಚ್ಚಿನ ದೃಢೀಕರಣ ಹಂತಗಳ ಅಗತ್ಯವಿರಬಹುದು.

LLM ವೃತ್ತಿಪರರಿಗೆ ಇದರ ಅರ್ಥವೇನು

• ವಿವರವಾದ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳು ಗೆಲ್ಲುತ್ತವೆ. ಉನ್ನತ ಮಟ್ಟದ ವೆಚ್ಚದ ವರದಿಗಳು ಟೋಕನ್ ವ್ಯರ್ಥವನ್ನು ಮರೆಮಾಚುತ್ತವೆ. ಪ್ರತಿ ಕಾರ್ಯದ ಬಳಕೆಯನ್ನು ದಾಖಲಿಸುವುದು autrement ಅಡಗಿರುವ ಅಸಮರ್ಥತೆಗಳನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತದೆ.
• ಫ್ರಾಂಟಿಯರ್ ಮಾಡೆಲ್‌ಗಳು ಯಾವಾಗಲೂ ಅಗತ್ಯವಿಲ್ಲ. ಒಟ್ಟಾರೆ ಗುಣಮಟ್ಟಕ್ಕೆ ಧಕ್ಕೆಯಾಗದಂತೆ ಅಗ್ಗದ ಮಾಡೆಲ್ ಡೇಟಾವನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಬಹುದು ಅಥವಾ ಸರಳ ಬೈನರಿ ನಿರ್ಧಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು.

LLM ಏಜೆಂಟ್‌ನ ಅಡಗಿರುವ ವೆಚ್ಚವು ಹೆಚ್ಚಾಗಿ ಅದು ಮಾಡುವ ಅಳತೆ ಮಾಡದ ಕೆಲಸವಾಗಿದೆ. ಟೋಕನ್ ಹರಿವನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಮೂಲಕ ಮತ್ತು ಗುರಿಬದ್ಧಗೊಳಿಸಿದ ಸುಧಾರಣೆಗಳನ್ನು ಅನ್ವಯಿಸುವ ಮೂಲಕ, ಸಂಶೋಧಕರು $945 ಮಾಸಿಕ ಬಿಲ್ ಅನ್ನು $651 ರಷ್ಟು ಕಡಿಮೆ ವೆಚ್ಚದ ಕಾರ್ಯಾಚರಣೆಯನ್ನಾಗಿ ಪರಿವರ್ತಿಸಿದರು ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೆಚ್ಚಿಸಿದರು. AI ಕೆಲಸದ ಹೊರೆಯ ಬಜೆಟ್ ಸಿದ್ಧಪಡಿಸುವ ಯಾರಿಗಾದರೂ ಪಾಠ ಸ್ಪಷ್ಟವಾಗಿದೆ: ಪ್ರತಿಯೊಂದು ಟೋಕನ್ ಅನ್ನು ಅಳೆಯಿರಿ, ನಂತರ ಎಲ್ಲಿ ಕಡಿತಗೊಳಿಸಬೇಕು ಎಂಬುದನ್ನು ಡೇಟಾ ನಿರ್ಧರಿಸಲಿ.