ನನ್ನ AI ಫೀಚರ್ ನನ್ನ ಹಣವನ್ನು ಖಾಲಿ ಮಾಡದಂತೆ ನಾನು ಹೇಗೆ ತಡೆದೆ
ನಾನು ನನ್ನ side project ಗೆ ಒಂದು AI chatbot ಅನ್ನು ಸೇರಿಸಿದೆ. ಅದು ಸರಳವಾಗಿರಬಹುದು ಎಂದು ನಾನು ಭಾವಿಸಿದ್ದೆ.
ನಾನು ತಪ್ಪು ಮಾಡಿದ್ದೆ.
ಎರಡು ವಾರಗಳ ನಂತರ, ಕೇವಲ ಒಂದು ವಾರಕ್ಕೆ ನನ್ನ OpenAI ಬಿಲ್ $87 ತಲುಪಿತು. ನನ್ನ ಬಳಿ ಕೇವಲ 50 ಬಳಕೆದಾರರಿದ್ದರು. ಒಂದು ಹವ್ಯಾಸದ ಪ್ರಾಜೆಕ್ಟ್ಗಾಗಿ ನಾನು ಹಣವನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತಿದ್ದೆ.
ವೆಚ್ಚವನ್ನು ಸರಿಪಡಿಸಲು ನಾನು ಹಲವಾರು ಮಾರ್ಗಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿದೆ. ಕೆಲವು ವಿಫಲವಾದವು.
- Rate limiting: ನಾನು requests ಗೆ ಮಿತಿ ಹೇರಿದೆ. ಬಳಕೆದಾರರಿಗೆ ಅದು ಇಷ್ಟವಾಗಲಿಲ್ಲ ಮತ್ತು ಅವರು ಹೊರಟುಹೋದರು.
- Truncating context: tokens ಉಳಿಸಲು ನಾನು ಡೇಟಾವನ್ನು ಕಡಿತಗೊಳಿಸಿದೆ. ಇದರಿಂದ ಉತ್ತರಗಳು ತಪ್ಪಾದವು.
- Simple caching: ನಾನು ನಿಖರವಾದ ಪ್ರಶ್ನೆಗಳನ್ನು cache ಮಾಡಿದೆ. ಬಳಕೆದಾರರು ಅಪರೂಪಕ್ಕೆ ಒಂದೇ ರೀತಿಯ ಪ್ರಶ್ನೆಯನ್ನು ಎರಡು ಬಾರಿ ಕೇಳುತ್ತಾರೆ, ಆದ್ದರಿಂದ ಇದು ವಿಫಲವಾಯಿತು.
ಸಮಸ್ಯೆ ಅನಗತ್ಯ ಕೆಲಸದಲ್ಲಿ (redundant work) ಇದೆ ಎಂದು ನನಗೆ ಅರಿವಾಯಿತು. LLM ಒಂದೇ ವಿಚಾರಗಳನ್ನು ಪದೇ ಪದೇ ಪ್ರೊಸೆಸ್ ಮಾಡುತ್ತಿತ್ತು.
ನಾನು ಮೂರು ಹಂತಗಳಲ್ಲಿ ಇದನ್ನು ಸರಿಪಡಿಸಿದೆ:
Semantic Caching ನಾನು ನಿಖರವಾದ ಪದಗಳ ಹೊಂದಾಣಿಕೆಯನ್ನು ಹುಡುಕುವುದನ್ನು ನಿಲ್ಲಿಸಿದೆ. ಸಮಾನವಾದ ಪ್ರಶ್ನೆಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ನಾನು embeddings ಬಳಸಲು ಪ್ರಾರಂಭಿಸಿದೆ. ಒಂದು ಹೊಸ ಪ್ರಶ್ನೆಯು ಹಳೆಯ ಪ್ರಶ್ನೆಯೊಂದಿಗೆ 92% ಸಾಮ್ಯತೆಯನ್ನು ಹೊಂದಿದ್ದರೆ, ನಾನು cache ಮಾಡಿದ ಉತ್ತರವನ್ನು ನೀಡುತ್ತೇನೆ. ಈ hit rate 40% ತಲುಪಿತು ಮತ್ತು ನನ್ನ ವೆಚ್ಚವನ್ನು ಅರ್ಧದಷ್ಟು ಕಡಿಮೆ ಮಾಡಿತು.
Smart Model Routing ನಾನು ಎಲ್ಲದಕ್ಕೂ GPT-4 ಬಳಸುವುದು ನಿಲ್ಲಿಸಿದೆ. ನಾನು ಒಂದು router ಅನ್ನು ನಿರ್ಮಿಸಿದೆ. ಪ್ರಶ್ನೆಯು ಚಿಕ್ಕದಾಗಿದ್ದರೆ ಮತ್ತು ಸರಳವಾಗಿದ್ದರೆ, ನಾನು ಅಗ್ಗದ provider ಅನ್ನು ಬಳಸುತ್ತೇನೆ. ಪ್ರಶ್ನೆಯು ಸಂಕೀರ್ಣವಾಗಿದ್ದರೆ, ನಾನು ಅದನ್ನು premium model ಗೆ ಕಳುಹಿಸುತ್ತೇನೆ. ಹೆಚ್ಚಿನ ಪ್ರಶ್ನೆಗಳಿಗೆ high-end model ಅಗತ್ಯವಿಲ್ಲ.
Prompt Trimming ನಾನು ಮಾಡೆಲ್ಗೆ ಕಳುಹಿಸುವ context ಪ್ರಮಾಣವನ್ನು ಕಡಿಮೆ ಮಾಡಿದೆ. ಅತ್ಯಂತ ಪ್ರಸ್ತುತವಾದ data chunksಗಳನ್ನು ಮಾತ್ರ ಆಯ್ಕೆ ಮಾಡುವ ಮೂಲಕ ನಾನು context ಗಾತ್ರವನ್ನು 60% ಕಡಿತಗೊಳಿಸಿದೆ.
ಫಲಿತಾಂಶಗಳು:
- ವಾರದ ವೆಚ್ಚವು $40 ರಿಂದ $7 ಕ್ಕೆ ಇಳಿಕೆಯಾಯಿತು.
- Cache ಇರುವುದರಿಂದ response times ವೇಗವಾಯಿತು.
- ಬಳಕೆದಾರರ ತೃಪ್ತಿಯು ಹೆಚ್ಚಾಗಿಯೇ ಉಳಿಯಿತು.
ಕಲಿತ ಪಾಠಗಳು:
- ಮೊದಲ ದಿನದಿಂದಲೇ semantic cache ಅನ್ನು ನಿರ್ಮಿಸಿ.
- ನಿಮ್ಮ cloud account ನಲ್ಲಿ ತಕ್ಷಣವೇ cost alerts ಬಳಸಿ.
- ಸರಳ FAQ ಕಾರ್ಯಗಳಿಗಾಗಿ ದುಬಾರಿ ಮಾಡೆಲ್ಗಳನ್ನು ಬಳಸಬೇಡಿ.
AI ಅನ್ನು ಸೇರಿಸುವುದು ಕೇವಲ prompts ಬಗ್ಗೆ ಮಾತ್ರವಲ್ಲ. ಇದು ಅರ್ಥಶಾಸ್ತ್ರದ (economics) ಬಗ್ಗೆಯೂ ಆಗಿದೆ. ಪ್ರತಿಯೊಂದು API call ಕೂಡ ನಿಜವಾದ ಹಣವನ್ನು ಖರ್ಚು ಮಾಡುತ್ತದೆ. ನೀವು efficiency ಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸದಿದ್ದರೆ, ನಿಮ್ಮ ಪ್ರಾಜೆಕ್ಟ್ ವಿಫಲವಾಗುತ್ತದೆ.
ನೀವು ನಿಮ್ಮ AI ವೆಚ್ಚಗಳನ್ನು ಹೇಗೆ ನಿರ್ವಹಿಸುತ್ತೀರಿ?
Source: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il